Edita tu /etc/inittab y busca una línea como ésta:
Al menos aquí en Fedora Core 4 eso se consigue cambiando el 5 por un 3 (aunque me parece que en Debian es un poco distinto). De todas formas, el mismo archivo inittab trae una descripción de los distintos runlevels.