Podrías hacer esto:
Código PHP:
<?php
//antepongo ; al dato a borrar por que asi queda mas adelante
$borrar=";dato2";
//leo el archivo a un array, transformo el array en
//una cadena separada por ;
$cadena=join(";",file("lista.txt"));
//reemplazo lo que voy a borrar en la cadena por nada
$cadena=str_replace($borrar,"",$cadena);
//reeemplazo los ; por saltos de línea
$cadena=str_replace(";","\n",$cadena);
//escribo la cadena resultante al archivo
file_put_contents("lista.txt",$cadena);
?>