Hola. El problema es que Bootstrap crea filas de un tamaño determinado por lo que si una columna es mayor que la propia fila lo que hace es exactamente eso, mandarla a la fila siguiente por lo que crea un desorden completo al alterar la colocación.
No hay manera de que cada fila se adapte al tamaño de cada columna porque es todo un bloque.
Soluciones:
1.- Establecer un alto fijo para que no cree el salto y pueda coger cada columna en su fila.
Problema: Si tienen menos elementos, el espacio va a ser bastante considerable quedando mal a nivel visual.
2.- Utilizar "Masonry" para que cada columna se adapte perfectamente sin importar el tamaño.
http://masonry.desandro.com/. Es javascript, pero ahora mismo es lo que se me ocurre.
Un saludo y espero haberte ayudado