Me.Close

[Jose_minglein2]

Para salir completamente puedes hacerlo en cada form hijo con
Application.exit()

y para referenciar, en el click de cada botón y dependiendo del mismo pues lo que te dije
Dim form2 as form2 = new form2
form2.Show
Form1.Close()

también puedes pasar x referencia el form1 a los otros formularios, pero sería algo más complejo y haría la misma función.