Puede ser sencillo :P
antes del while pon $a=0;
Dentro del while al final pon $a++;
Despues, en la parte de crear los divs, pones
<div class="<?php if($a<4){ echo "delaizquierda"; } else { echo "deladerecha"; $a=0; } ?>">
¿facil?
Logicamente deberás cambiar deladerecha o delaizquierda por los nombres que le hayas puesto. Eso lo que hace es iniciar la variable $a, y si es 4, pone que es de la derecha, y si no, de la izquierda
Logicamente, si es 4, pone a 0 el contador :P