Esto se consigue por medio de los estilos de tu plantilla.
Este es un ejemplo sacado de una plantilla ya creada:
Código HTML:
a:link, a:visited {
outline: none;
text-decoration: underline;
font-weight: normal;
color: #666666;
}
a:hover {
text-decoration: none;
font-weight: normal;
color: #4CAFC6;
}