Ya que estás tratando el tema visual tendrías que ir a los archivos de tu Theme y editarlos, en tu caso category.php, si tienes dudas puedes usar el
Codex de Wordpress para consultar su documentación.
Si tienes alguna cuestión más aprovéchate y pregunta.