Hola:
Con java puro no se puede. Sin embargo depende de lo que quieras.
Por ejemplo, si creas una excepción con new Exception() y miras el stackTrace, pudes ver, al menos, el nombre de la clase que te ha llamado. Si es sólo para escribir en pantalla, quizás te valga.
Si necesitas una referencia real y estás dispuesto a meter librerías adicionales, con la programación orientada a aspectos puedes intentar hacer algo.
AspectJ, por ejemplo, es una librería adicional que te permite en cada llamada a cada método saber quién llama a quién, e incluso hacer cosas antes de que se efectúe la llamada. E incluso impedir que dicha llamada se haga. No la he usado nunca, así que no puedo darte detalles, símplemente es lo que he leido y una "demo" que me hicieron con ella.
Se bueno.