hasta ahora no se cual fue el problema.. pero logre solucionarlo de otra forma... codificando con htmlentities(), reemplazando y luego volviendo a decodificar con html_entity_decode()
Código PHP:
<?php
//limpiando el rss
$archivo="archivo.txt";
$texto = file_get_contents($archivo);
$texto = htmlentities($texto);
$palabras = array("ñ","Ñ");
$reemplazar = array("n","N");
$texto=str_replace($palabras,$reemplazar,$texto);
$texto = html_entity_decode($texto);
echo $texto;
?>