En parte tienen razon MaxExtreme, eso mismo te preguntaria, pero la verdad me recuerdas mucho aquellos dias cuando yo empesaba. no sabia nada de nada. que bueno que estuvo alguien dispuesto a informarme y ahora ya comprendo mas o menos esto.
mira en la pagina que tu estas puedes descargar el compilador y las librerias por separado, la verdad yo nunca lo he descargado asi, y mucho menos sabria como configurarlo, y al parecer nadie esta dispuesto a decirtelo, por tanto te recomiendo que te descarges el DevCpp, este es un IDE, que se auto instala y configura listo para desarrollar.
ademas el paquete de GTK+, que te descargaste crea proyectos para este IDE, sera un buen complemento.
te dejo la pagina:
http://www.bloodshed.net/dev/devcpp.html
instala el DevCpp y despues instalas el paquete de GTK, sigue las instrucciones de confiuracion para este IDE en particular y listo.