Bueno. Esto está mucho mejor que
separar inputs sin <br />
Y sí. Es evidente. Las tablas tienen asociadas las alturas de celdas en la misma fila, y sus anchos en la misma columna. Es el único elemento (que yo recuerde) que tiene ese comportamiento.
Todavía no se le puede dar con CSS una altura a un elemento que dependa de otro "hermano" o "vecino". A menos que hagás una tabla CSS, pero es lo mismo que con HTML.
Con javascript sí se puede. Y con varios métodos experimentales para "columnas equilibradas" (algunos puro CSS) también, pero tienen sus limitaciones.
Si podés meter todo el un contenedor con el mismo color de fondo que los botones (y que el color no cambie al pasar el puntero) se podría disimular la diferencia de tamaño.
O, sabiendo cuál es el más grande, meterlo "dentro" de los otros dos para forzarles el ajuste de altura. Sería un cambio de estructura medio radicalizado, pero se puede considerar como última, pero re-última, opción.