Otra forma seria que uses una imagen y que controles el formulario con javascript.
Código:
<a href="javascript:jsEliminar()"><img src="boton_eliminar.gif"></a>
Y tu función jEliminar deberia ser como la que sigue.
Código:
function jsEliminar(){
var form = document.tu_form;
form.action = 'tu_script_php_que_eliminara_registros.php';
form.submit();
}
Saludos