Ayuda con 2 multiselects

[sando]

Hola tengo 2 multiselects, en el cual con 2 funciones de ajax les mando parametros, en el primer multiselect agrego alumnos, en el segundo multiselect los quito, en el primero los extraigo de labase de datos y de ahi los mado al segundo multiselect, cabe mencionar de que en la base de datos tengo una consulta de que me agregue los alumnos y ya no los muestre en el primer multiselect. El problema radica en que al momento de agregar un alumno en el segundo multiselect si lo agrega y si lo quita de ese multiselect, pero al quitar el alumno del segundo multiselect no le lo regresa el primer multiselect.

Nota: No tengo que agregarlo a la base de datos, si no que lo haga el mismo ajax