Puedes usar una de tantas funciones recursivas del manual para hacer eso y en el foro hay muchos aportes sobre el tema:
Código PHP:
Ver original<?php
function rrmdir($dir) {
foreach ($objects as $object) {
if ($object != "." && $object != "..") {
if (filetype($dir."/".$object) == "dir") rrmdir
($dir."/".$object); else unlink($dir."/".$object); }
}
}
}
rrmdir('directorio');
?>
http://php.net/manual/es/function.rmdir.php 
Ten cuidado con lo que borras. Saludos.