Hola
En primer lugar, en cuanto al sistema operativo, si es para crear las aplicaciones usa el que mas te guste: windows 2k owindows xp professional (no home edition). si es para montar un servidor de produccion, es decir, el que sirve las paginas a la red, evidentemente debes utilizar un windows server
En cuanto a lo segundo, yo no utilizo webmatrix, pero supongo que cuando pregunta el tipo de documento se referira a .aspx (pagina), .ascx(control de usuario), .asmx (servicio web) etc; y en cuanto al lenguaje pues eso, vb.net, c#...
asp.net no es un lenguaje de programacion, al igual que en asp, en que podias utilizar tanto vbscript como jscript como lenguajes para programar, pues aqui puedes usar los mencionados anteriormente.
espero haber aclarado tus dudas
saludos
