Seguridad en upload de archivo

[geq]

Hola,
Tengo una inquietud sobre seguridad:

Quiero que desde una pagina se pueda subir cualquier archivo al servidor, siempre que sea seguro.
Alguien que sepa donde se guardan los archivos podría subir un php y mediante el navegador hacer lo que mas le guste de mi servidor; asi que .php no se deben admitir. Ahora, ¿es eso suficiente? ¿Hay más extensiones peligrosas? o me recomiendan mejor restringir las extensiones admitidas a, por ejemplo, .doc .zip .rar .txt, algo así, en lugar de no admitir las consideradas peligrosas.

Me imagino que debo guiarme por la extensión y no por el tipo de archivo porque no siempre es correcto, ya que si alguien estuviera realmente preocupado por hackear mi site podria indicarle al servidor que es otro tipo de archivo.

Muchas gracias,
saludos