¿Estás trabajando con jQueryUI?
De ser así, el método .droppable() permite especificar elementos permitidos:
http://jqueryui.com/demos/droppable/#accepted-elements
Revisá la documentación y los ejemplos y seguro lo podrás solucionar. El truco está en que no acepte cualquier elemento, sino sólo el que le indiques.