Como hacer algo puede pero si te dijo directamente que tenia tu IP es un simple lammer ya que el IP de cualquier usuario es muy facil de sacar.
De todas maneras te recomiendo que instales algun Firewall, aca tenes algunos y gratis
http://www.infospyware.com/Firewall/
Tambien podes ver unos articulos que te van a dar una idea mas clara de que es un Firewall (cortafuegos) y para que se usa.
Que es un cortafuegos?