Hola
oonai
Con la función alert solo puedes poner el texto que quieres que aparezca, pero no puedes darle ningún formato. Para hacer algo así tendrías que usar DHTML, te dejo un enlace que te puede ayudar:
http://slayeroffice.com/code/custom_alert/
Saludos,