ya solucione el problema, ocurria debido a esto

:
Este es el codigo que existe en el cliente y el problema ocurria cuando el mensaje era mas chico que el tamaño del BufferDeLectura (menor que 50)
Código:
BufferDeLectura = New Byte(50) {}
Flujo.Read(BufferDeLectura, 0, BufferDeLectura.Length)
Encoding.ASCII.GetString(BufferDeLectura).Trim
y esta fue la forma que solucione el problema:
Código:
BufferDeLectura = New Byte(50) {}
'Me quedo esperando a que llegue algun mensaje
Dim n As Integer = Flujo.Read(BufferDeLectura, 0, BufferDeLectura.Length)
'De esta forma transformo la informacion
Código:
Encoding.ASCII.GetString(BufferDeLectura, 0, n)
muchas gracias por su tiempo..
Víctor Rodríguez
Santiago de chile
Recuerden Enseñar es la mejor forma de aprender