En
http://nehe.gamedev.net/ tienes una serie de tutoriales muy completos para comenzar y avanzar con OpenGL. Luego tendras que echar un vistazo a los sistemas de particulas (permiten simular desde unas cuantas particulas hasta humo y explosiones).
Junto con todo eso tendras que tener en cuenta una cosa: cuando quieras que las particulas interactuen entre ellas usarás algoritmos de deteccion de colisiones, pero no termina aquí la cosa, para evitar aplicar los algoritmos entre todas tendras que usar particiones (.ej. quadtrees) para minimizar el numero de comprovaciones (dicho de otra forma, cada particula solo puede colisionar con otra que esta cerca, de forma que omites las comprovaciones para las que estan lejos y asi aceleras los ciclos de logica).
Saludos y suerte con eso
vosk