Creo que AllowUser solo te deja modificar el tipo de autentificacion para que sea ya sea logins o llaves RSA.
Para hacer lo que pides es muy seguro que necesites hacerlo por reglas en iptables pe:
Código:
iptables -A INPUT -p 22 -j DROP
#despues agregar tus ordenadores permitidos:
iptables -A INPUT -s 192.168.1.1 -p 22 -j ACCEPT
iptables -A INPUT -s 66.251.4.1 -p 22 -j ACCEPT
Asi puedes seguir sucesivamente solo recuerda hacer una regla que acepte tu trafico si el servidor es remoto, de esta manera no te quedaras sin acceso, recuerda siempre negar primero para que la excepcion venga despues, puedes usa ! para negar valores en la regla.
Te recomiendo tambien que cambien el puerto de SSH y que solo le permitas login a un determinado grupo del sistema, que elimines el acceso root y de ser posible manejar una combinacion de llaves para cada cliente (son peligrosas si caen en manos extranias pero deshabilita el login por lo que un ataque de fuerza bruta no funciona y si aniades el acceso por IP's no deberias tener problemas), tambien baja el tiempo de gracia que SSH puede estar a la espera de actividad al pedir la contrasenia.
Bueno esta fue mi aportacion a la causa.