Gracias por la pronta respuesta. En efecto al utilizar:
Application.Exit()
Se cierra la aplicacion, ahora el problema esta con el boton "Cerrar" del formulario.
Esto lo solucione con el siguiente codigo dentro del evento FormClosing del formulario:
If CloseReason.UserClosing Then
Application.Exit()
End If
Espero que le sirva a alguien mas.
Saludos.