En este ejemplo que viene con la documentacion puedes ver como lo hacen para escribir/recuperar el certificado entero:
http://java.sun.com/j2se/1.5.0/docs/....html#ReadCert, del certificado se sacan las claves, asi que listo.
Por otro lado, un poco más arriba tienes el metodo de pasar una clave como array de bytes:
http://java.sun.com/j2se/1.5.0/docs/...l#KeyFactoryEx
El ejemplo usa una clave publica en vez de privada, pero segun el API parece que el funcionamiento es el mismo.
Por ultimo, decir que PrivateKey es Serializable, así que guardandolo así te bastaría, y que tambien puedes usar los KeyStore, si tienes que pasar varios certificados etc. para no tener que pasar las claves privadas de aquí para allá.
S!