"Out of memory" no es que escriba fuera de memoria.
Lo que pasa es que el amule usa toda la memoria RAM, toda la SWAP y linux lo mata por que puede colgar todo el sistema
Yo puntualmente uso el amule en Linux, lo que si uso mucho es el amuled
http://www.amule.org/wiki/index.php/AMuled , donde nunca he tenido problemas por usarlo largos periodos de tiempo.
Salu2