Buenas !
Creo que lo que puedes hacer son dos cosas:
1) mantener un array que contenga los id que van quedando y con un ...innerHTML =''; se deben borrar y los de abajo subir.
2) la segunda es que no uses div y que te manejes con DOM y las funciones para crear o borrar row de una tabla...
http://www.howtocreate.co.uk/tutoria...?tut=0&part=26
;)