Usa float:left en las dos columnas.
Un consejillo con el CSS, cambia tu código a esto:
Código:
.columna {
width:50%;
display:inline-block;
height:50%;
overflow:hidden;
float:left;
}
#columna1{
background-color:blue;
}
#columna2{
background-color:green;
}
Y añádele la clase "columna" a los dos divs. De este modo tienes menos código y es más mantenible. Si dos elementos pertenecen a la misma categoría ("columna") y tienen todos los estilos iguales menos uno, es mejor organizarlo así.