bueno... como no dices que error es... ¿estás seguro que lo estás haciendo bien?
Código:
echo "<img src=\"".get_bloginfo('template_url')."/images/category-icons/$i.png\" alt=\"hola mundo\"/>";
deberias meter el texto donde yo puse hola mundo.. si lo pones después de \, te dará error.