Bueno a mi me pasa algo similar con Debian, ftp localhost y se tarda unos 20 segs, no recuerdo exactamente como lo configure si como demonio o como servicio de inetd, tal vez sea por ahi pues segun yo
demonio = siempre esta corriendo
servicio inetd = se levanta al haber un request(por eso supongo se tarda, pues levanta el servicio)
Tal vez me equivoco no recuerdo y de hecho es la primera vez que configuro proftpd y aparte no he dormido bien asi no le hagas mucha confianza a mi memoria.