select eliminar option iguales?

[summerblack]

Hola amigos de foros del web les escribo porque hay un codigo que no se como sacar y depronto alguno de ustedes me pueda ayudar:
Resulta que tengo 2 select option uno al lado izquierdo, uno al lado derecho y 2 botonsitos en medio para ir pasando de un lado a otro:

Código HTML:

<select class="option-selectores" name="origen[]" id="origen" multiple="multiple" size="8"> </select>
 
    <button class="btn btn-info btn-sm btn-block pasar izq" id=""> <span class="glyphicon glyphicon-chevron-right"></span></button>
    <button class="btn btn-info btn-sm btn-block quitar der" id=""><span class="glyphicon glyphicon-chevron-left"></span> </button> 
 
 
    <select class="option-selectores" name="destino[]" id="destino" multiple="multiple" size="8"></select>
 

hasta ahi.. normal.
Resulta que mas adelante hay una parte del sistema (al dar click) que me llena el select destino con datos de la base de datos, lo cual implica que pueden quedar los mismo options en el origen que en el destino, asi que necesito quitar del origen los option que esten en el destino.

Ya he realizado varios intentos pero no he podido y lo que hace es eliminarme todos los option del nodo origen por eso acudo a ustedes les dejo mi codigo:

Código Javascript:

var data = JSON.parse(response);    
            $('#destino').html(template_optionPermisos({datos : data.consulta}));
        
            $('#destino option').each(function() { 
            if( $(this).val() == $('#origen option').val())
            {
                $('#origen option').remove(); 
            }
                
            });