El compliador es el SDK que lo escargas desde la web de microsoft, pero para empezar descargate el Visual studio express, trae todo lo que necesitas.
http://www.microsoft.com/express/product/default.aspx
Si no sabes que elegir si VisualBasic o C# podrias darte una vuelta por la wikipedia o buscar información que hay mucha.