No conozco esa manera de instalar Firefox así que no te puedo confirmar esa desinstalación aunque sí te digo que me parece raro... ¡Ah! Y no dije que bastaba con eliminar el fichero ejecutable, sino la carpeta completa que descomprimiste... Además, en realidad quedría "basura" en tu carpeta personal que deberías eliminar también. Por eso es bueno instalar todo con el gestor de paquetes, es mucho más cómodo.
En fín, para instalar Firefox a partir del fichero de su página web sólo hay que descomprimirlo y ya queda instalado (si te fijas, la carpeta resultante tiene un ejecutable llamado firefox).
¡Ah! Otra cosa, si hiciste un
apt-get install mozilla no instalaste Firefox, sino
Mozilla Suit, que no es lo mismo... En Debian el paquete que proporciona Firefox es
mozilla-firefox.
Saludos.