Hola,
 
En el inicio del formulario:
<form action="<?php echo $_SERVER['PHP_SELF']" ....etc.
y al darle a "submit" de "Eliminar" se volverá a ejecutar el mismo fichero, "borrar.php" (por ejemplo). Después para comprobar si se intentó eliminar, comprobamos que se hayan establecido las $_POST[''] apropiada... 
ejemplo 
 Código PHP:
    if(isset($_POST['eliminar'])){ 
## Se pulsó el botón eliminar con lo cúal, ejecuto dicha acción
}else{
## No se pulsó el botón eliminar, cargo el formulario con los registros
} 
    
  Espero se me entienda. 
SALUDOS
Ruyman Trujillo