Configurar dominio con servidor dedicado

[d4ri0]

Hola, ando con un pequeño dilema que todavía no puedo comprender como debo hacer para lograr lo que quiero.
Hace una semana adquirí un servicio de servidor dedicado, que accedo por medio de una ip fija a traves del escritorio remoto. Allí tengo instalado el Apache, Php y MySQL. Por medio de la ip puedo entrar y navegar por la web que cree.
Ahora bien quisiera asignarle un dominio a esa IP, así podría entrar a travez de una dirección. Como ya les decía la IP es fija pero ellos no me brindaron ningun servicio de DNS.
Quisiera saber como tendría que hacer ya que a la hora de delegar mi dominio a mi servidor se me solicita que ingrese los DNS con sus IPs correspondiente.
Si me podría ayudar se los agradecería, desde ya un saludo cordial