Claro que puedes cambiar el puerto SSH del archivo sshd_config
PERO , no olvides que,,, Si tienes un FIREWALL, tienes que abrir el puerto elejido para SSH
Es decir,,,no solamente cambiar el puerto SSH,,,,,ademas, tienes que decirle al Firewall que dicho puerto tiene que estar abierto.
Supongo que en tu caso,,,,,,cambiaste el puerto sshd_config , por ejemplo al puerto 50555 ,,,,pero nunca le dijiste al firewall que abriera el puerto 50555. Crazo error.