Hola:
Los botones al igual que todos los tags tienen sus propios estilos "por defecto"... evidentemente tiene un background-color, que supongo que se tratará de algun color del sistema... pero se le puede poner "transparent"... y también tienen border, margin y padding... sería cuestión de que pusieras los estilos que tú quisieras:
button {
background-color: transparent;
margin: 0;
padding: 0;
}
Saludos