Para eso debes usar sockets asíncronos que justamente evita que se suspenda la ejecución de la aplicación del servidor mientras ce cierra una conexión de un cliente y se espera una otras conexiones.
Te sugiero que revises la siguiente dirección:
http://msdn.microsoft.com/library/sp...conSockets.asp
Para que "escuche" sólo en una dirección específica puedes utilizar IPAddress.Parse:
Dim Servidor As TcpListener = New TcpListener(IPAddress.Parse("192.168.0.1"), 1500)
Saludos