Pues a mi manera de ver es simple, los dos divs que inicialmente estan flotando ponlos dentro de otro que no lo este, este ultimo con una dimension en width fija...
Ojo debes tener en cuenta lo siguiente en las dimensione de los dos divs internos
El Borderwidth + padding + margin +widht de ambos divs deben sumar igual o menos del tamaño del div que los contiene, sino tendras el mismo problema que se te mueve un divs hacia abajo.
Esto sucede porque a pesar de que ambos estan flotando las dimensiones en las cuales estan colocados son menores a la suma de las dimensiones en ancho de ambos divs.
Espero me haya explicado bien.
Cordiales Saludos