Paneles y Listeners

[changastyle]

Hola , buenas Noches entrè a este foro, por que tengo una duda Existencial.Voy al grano a ver si alguien me puede solucionar este temita.

Quise hacer una calculadora grafica , y no se me ocurrio mejor idea, que hacer un JPanel que tenga botones con los numeritos, otro JPanel que tenga mas botones con los operadores (+ , - , * ,/) y por otro lado un JTextField que muestres los resultados.

Despues hice una Clase VentanaAgrupadoraDePaneles, la cual instancia a los paneles, los agrupa como debe ser en un GridBagLayout . y mi problema es el siguiente:

si en la clase que tiene los numeritos ,que hereda del JPanel e implementa un ActionListener, le hago un ActionPerformed , dentro de el Performed debería setear el texto del TextField a ese numerito recibido, pero este Field esta instanciado en la clase VentanaAgrupadoraDePaneles y sinceramente no tengo idea como seguir, estuve buscando bastante, y al parecer, otros programadores, hacen todo en una sola clase u otros metodos que no termino de comprender. Desde ya muchas Gracias Nicolas (: