sobre awt no estoy seguro pero para cambiarle los estilos a los botones se swing hay dos maneras una es utilizando un look and feel de java, claro esto depende de qeu jdk tengas instalado y los looks and feels que se tengan en el jdk
para aplicarlo uno en especifico podrias colocar el siguiente codigo al principio del main
Código:
public static void main(String [] args){
for(UIManager.LookAndFeelInfo laf:UIManager.getInstalledLookAndFeels()){
if("Nimbus".equals(laf.getName()))
//if("Windows".equals(laf.getName()))
try {
UIManager.setLookAndFeel(laf.getClassName());
} catch (Exception ex) {
}
}
}
la otra forma es sobrescribiendo el metodo paintComponent del JButton
y dibujando en este , para esto necesitas conocer un poco de como utilizar las librerias de dibujo 2d de Java