Listar archivos pero sin extension .txt

[neworks]

Hola tengo este script que encontre en este foro que lista los archivos y muestra uno aleatoriamente, pero lo muestra asi archivo.txt, como puedo lograr que solo muestre el nombre del archivo sin la extension .txt??
<?
$dir='archivos/'; //El directorio local donde almacenas solo los archivos de texto
if ($handle = opendir($dir)) {
while (false !== ($file = readdir($handle))) {
if (!is_dir($dir.$file) && $file != "." && $file != "..") {
$archivos[]=urlencode($file);
}
}
closedir($handle);
}
$aleatorio = rand(0, count($archivos)-1);
echo $archivos[$aleatorio];
?>