Seguridad XAMPP con .htaccess

[quiquerd]

Os cuento mi caso. Tengo en un servidor al que accedo de forma remota con XAMPP instalado. He abierto desde el router el acceso a XAMPP de tal forma que si poneis en vuestro navegador la ip publica del router donde esta ese servidor aparece el panel web de XAMPP. Mi problema es que para aumentar la seguridad me parece poco poner un .htaccess que pida el usuario y la contraseña ya que intentándo acceder "X" veces se consigue saber las credenciales. Mi solucion sería que solo se pudiera acceder al XAMPP del servidor desde mi IP pero si pongo la IP no funciona obviamente porque yo estoy accediendo de forma remota o mediante la IP pública. He probado a poner que solo pueda acceder desde mi IP local (como he dicho antes) y también la IP pública del router del cual quiero tener acceso, pero tampoco funciona.
*También me valdría que simplemente al meter varias veces las credenciales en el .htaccess denegara el acceso durante un tiempo determinado o algo parecido.

MUCHAS GRACIAS DE ANTEMANO !