Ah pero entonces si yo le pusiera un id al link así:
<a href="#" id="id_1" class="eliminar" rel="uno">Eliminar div 1</a>
y un id a los div así:
<div id="uno_id_1">1</div>
podría acceder al id asií?
var div = $(this).attr("id");
$("#div_"+div).remove();