Eso lo hacen algunos Themes por defecto. Pero sino también hay plugins para poder hacer eso.
Investiga por acá o similares.
http://wordpress.org/extend/plugins/category-icons/
Y este, que lo que hace es reemplazar el nombre de la categoría, con una imagen asociada a esta
http://wordpress.org/extend/plugins/category-images/