JEJEJE, que raro que mithrandir no me haya recomendado(no es nada personal)
Yo te recomiendo primero tener bunas basses sobre el lenguaje que uses. En lo personal me gusta mas C por su limpiza y sobre todo porque no es de Mocosoft.
Pero te recomiendo el C++ porque toda la documentacion(libros, tutoriales, etc) es solo para C++.
Si quieres programar 3D, tambien puedes buscarte la libreria Allegro aunque me han dicho que es algo inestable.
Lo mejor seria el DirectX pero tambien deberias probar el SDL de OpenGL ya que ese no es de Mocosoft como el DirectX.
Intenta las tres o consiguete otra diferente. Hay varias.
Saludos