bueno creo que lo mas recomendable , si mas no recierdo se puede hacer como yo lo hago para sshd , designar que solo los usuarios que pertenezcan al un cierto grupo aunque sea secundario puedan conectarse dedusco que es posible en proftpd tambien yo ponia una regla ke si el usuario no fuera del grupo ssh no lo dejara entrar creo que por ftp debe ser lo mismo
Saludos