Lo que sucede es que estas estableciendo la relacion directamente con una columna de la db, para hacer esto tienes que hacer una relacion bidireccional, donde ambos campos que existen en la entidad son propiedades de navegacion, y las inicializas en el constructor de la entidad como ArrayCollection, puedes conocer mas de este tema en este pdf:
http://www.cheat-sheets.org/saved-co...-Sheet-1.1.pdf, espero que te sirva, saludos.