Problemas con sa-learn (educando el Spamassassin)

reyesoft · #1 (**permalink**) 03/10/2007, 13:30

Tengo instalado SpamAssassin y funciona muy bien. Ahora quisiera poder educarlo, para ello he juntado mails enviándolos a una cuenta especial [email protected], haciendo que el servidor los aloje en el directorio /var/qmail/mailnames/dominio.com/ham/Maildir/new/

Por tanto, en la carpeta mencionada tengo un montón de correos indeseados que pasaron por alto el filtro. Ahora quiero educarlo y por tanto ejecuto
sa-learn --spam --mbox /var/qmail/mailnames/dominio.com/ham/Maildir/new/

Tendría que funcionar, pero el problema es es que devuelve:
Learned tokens from 0 message(s) (0 message(s) examined)

¿Tengo que ejecutar sa-learn en ese directorio? ¿o le tengo que pasar otro parámetro? ¿Qué está mal que no examina ninguno?

Gracias de antemano por su sabiduría.

hispaweb · #2 (**permalink**) 03/10/2007, 16:01

si tienes los emails en "maildir" no estaran en formato "-mbox"

reyesoft · #3 (**permalink**) 03/10/2007, 17:10

Cita:

Iniciado por hispaweb

si tienes los emails en "maildir" no estaran en formato "-mbox"

¿Entonces tengo que poner otra carpeta? ¿O tendría solamente que quitar el --mbox?

Muchísimas gracias nuevamente.

hispaweb · #4 (**permalink**) 04/10/2007, 05:55

Prueba a quitar --mbox (hablo de memoria) ... haz la prueba, y nos cuentas.

reyesoft · #5 (**permalink**) 04/10/2007, 06:17

Cita:

Iniciado por hispaweb

Prueba a quitar --mbox (hablo de memoria) ... haz la prueba, y nos cuentas.

Anduvo de pelos

sa-learn --spam /var/qmail/mailnames/dominio.com/spam/Maildir/new/
Learned tokens from 197 message(s) (197 message(s) examined)

sa-learn --ham /var/qmail/mailnames/dominio.com/ham/Maildir/new/
Learned tokens from 21 message(s) (21 message(s) examined)

Anduvo de pelos... El próximo paso será juntar más mails.

Muchas gracias.

ferny · #6 (**permalink**) 04/10/2007, 08:32

¡Hola!

Muy interesante este tema, precisamente llevaba un tiempo buscando formas de reducir más el spam... Te quería comentar, lo que haces es que los mails que pasan el filtro los metes a una cuenta especial, y ejecutas el sa-learn sobre el directorio de esa cuenta. Mi duda es cómo mandas los mails hasta esa cuenta, es decir, si los mails que llegan a tu bandeja de entrada habitual los reenvías a esa cuenta, o cómo lo haces...

En mi caso yo descargo el correo por pop3 con thunderbird, y a veces me encuentro algún spam, ¿sabes si funcionaría si reenvío ese spam a la cuenta especial para luego aplicar el sa-learn? Te lo comento por si afecta en algo la cuenta desde donde se envían, o no tiene nada que ver

Un saludo

juanpablopwr · #7 (**permalink**) 22/10/2007, 14:04

Que es lo que hace especificamente el SA-LEARN ?
Yo acabo de instalar el spamassassin pero no me funciona, esta corriendo, el puerto esta activo, pero nada de lo que le agrego como palabras a considerar spam me las filtra, me las deja pasar igual.

Eh intentanto por ejemplo enviar un mail con la palabra SEX, le eh corrido sobre el servidor a esa cuenta los comandos del sa -learn que mencionan arriba, pero cuando vuelvo a enviar un mail con la palabra SEX me lo deja pasar sin problemas!

reyesoft · #8 (**permalink**) 22/10/2007, 14:14

Cita:

Iniciado por ferny

¡Hola!
Mi duda es cómo mandas los mails hasta esa cuenta, es decir, si los mails que llegan a tu bandeja de entrada habitual los reenvías a esa cuenta, o cómo lo haces...

Exactamente, eso hago. Tengo una cuenta [email protected] y otra [email protected]. Luego tengo el Cron que cada un día hace el sa-learn en cada carpeta según corresponda.

Lo leí en un manual de cómo educar el SpamAssassin y el autor recomendaba esta forma. No aclara si afecta, pero así lo recomiendo. También trabajé en una empresa que tenía también el mismo sistema, con una cuenta para cada cosa.

¡Saludos!

juanpablopwr · #9 (**permalink**) 23/10/2007, 07:35

Cita:

Iniciado por reyesoft

Exactamente, eso hago. Tengo una cuenta [email protected] y otra [email protected]. Luego tengo el Cron que cada un día hace el sa-learn en cada carpeta según corresponda.

Lo leí en un manual de cómo educar el SpamAssassin y el autor recomendaba esta forma. No aclara si afecta, pero así lo recomiendo. También trabajé en una empresa que tenía también el mismo sistema, con una cuenta para cada cosa.

¡Saludos!

Como funciona exactamente?
Yo eh generado una cuenta, envio un mail por ejemplo de prueba... con el asunto SEX, luego le corro los comandos

sa-learn --spam /var/qmail/mailnames/dominio.com/spam/Maildir/new/
Learned tokens from 1 message(s) (1 message(s) examined)

sa-learn --ham /var/qmail/mailnames/dominio.com/ham/Maildir/new/
Learned tokens from 1 message(s) (1 message(s) examined)

Pero no hace nada, si luego vuelvo a enviar un mail con el asunto SEX lo deja pasar igual, me podrias decir que libro leiste? porque no entiendo porque no me funciona y por internet hay casas completamente distintas, nadie tiene los mismos problemas y nadie coincide con la solucion.

Gracias

hispaweb · #10 (**permalink**) 23/10/2007, 13:36

tienes que haber "enseñado" al bayes con mas de un mensaje...

...como siempre.... no recuerdo la cifra exacta (hablo de memoria), pero pueden ser 200 ham y 200 spam

juanpablopwr · #11 (**permalink**) 23/10/2007, 13:45

Como le enseño? al bayes? porque la verdad es que me instale todo para filtrar el spam y no me esta funcionando absolutamente nada, nose si es por el pack que viene todo junto o por algun que no esta activado.

Yo me baje una version de slackware 11 con todo cargado.

hispaweb · #12 (**permalink**) 24/10/2007, 01:02

Cita:

Iniciado por juanpablopwr

Como le enseño? al bayes?

Pues como lo has hecho:
sa-learn --spam /var/qmail/mailnames/dominio.com/spam/Maildir/new/
Learned tokens from 1 message(s) (1 message(s) examined)

sa-learn --ham /var/qmail/mailnames/dominio.com/ham/Maildir/new/
Learned tokens from 1 message(s) (1 message(s) examined)

pasandole mensajes "poco a poco".... hasta que le hayas pasado "suficientes" no empezará a funcionar

juanpablopwr · #13 (**permalink**) 24/10/2007, 07:41

Ah bien, ahora entiendo.
Te hago una pregunta: Yo hice la prueba de enviar un mail desde una cuenta de hotmail a una cuenta donde tengo el spamassassin con el asunto SEX, le corri estos comandos a la cuenta en donde recibi el mail con asunto SEX

sa-learn --spam /var/qmail/mailnames/dominio.com/spam/Maildir/new/
Learned tokens from 1 message(s) (1 message(s) examined)

sa-learn --ham /var/qmail/mailnames/dominio.com/ham/Maildir/new/
Learned tokens from 1 message(s) (1 message(s) examined)

Volvi a enviar un mail con asunto SEX y entro igual, no lo bloqueo

hispaweb · #14 (**permalink**) 25/10/2007, 01:45

Vamos a ver.....
...hasta que no "eduques" al spam assassin con un monton de mensajes, no hará nada.

aun suponiendo que tu spamassassin estuviera ya educado y operativo..... ....no funciona como tu crees.

No se trata de un diccionario, en el que si un email tiene la palabra "tal o cual" se considere spam, y si no la tiene no sea spam.

La red bayesiana lo que identifica son "patrones"... es decir: Este email tiene bastante probabilidad de ser spam, porque hace unos dias recibí otro parecido, y que fue considerado spam.

juanpablopwr · #15 (**permalink**) 25/10/2007, 09:05

Cita:

Iniciado por hispaweb

Vamos a ver.....
...hasta que no "eduques" al spam assassin con un monton de mensajes, no hará nada.

aun suponiendo que tu spamassassin estuviera ya educado y operativo..... ....no funciona como tu crees.

No se trata de un diccionario, en el que si un email tiene la palabra "tal o cual" se considere spam, y si no la tiene no sea spam.

La red bayesiana lo que identifica son "patrones"... es decir: Este email tiene bastante probabilidad de ser spam, porque hace unos dias recibí otro parecido, y que fue considerado spam.

Ah perfecto, ahora entendi, te molesto con otra consulta... porque no encuentro ningun manual bueno que explique los comandos del spamassassin....

Yo genere una cuenta en mi dominio llamada SPAM y le envio a dicha cuenta todos los mails SPAM que me lleguen a otras cuentas... luego cada tanto le corro estos 2 comandos

sa-learn --spam /var/qmail/mailnames/dominio.com/spam/Maildir/new/
Learned tokens from 1 message(s) (1 message(s) examined)

sa-learn --ham /var/qmail/mailnames/dominio.com/ham/Maildir/new/
Learned tokens from 1 message(s) (1 message(s) examined)

Pero para que sirven los 2 comandos? es necesario correrle los 2?

hispaweb · #16 (**permalink**) 26/10/2007, 00:33

con el primero estas diciendole al spamassassin: lo que hay en esta carpeta es spam, aprendetelo

con el segundo comando lo que estas diciendo es: lo que hay en esta carpeta es correo bueno, aprendetelo.

Lo primero que tienes que hacer es mandarle al spamassassin un numero suficiente de mensajes, como para que empiece a tomar decisiones él solito sobre lo que es spam y lo que no.

Una vez que hayas alcanzado esa "masa critica", el filtro empezará a funcionar y empezará a marcarte correos como spam.
A partir de ese momento, lo que tienes que hacer es seguir educandolo... si te marca algun mensaje como spam sin que lo sea (falso positivo), tienes que "explicarle" al spamassassin que eso no es spam, y lo haces asi: "sa-learn -ham........."
Tambien es posible que algun mensaje de spam "se cuele" sin que sea detectado. En este caso, tienes que pasarselo al spamassassin, indicandole que se trata de spam: "sa-learn --spam ................."

Poco a poco, segun le vayas pasando mas mensajes, el spamassassin irá aprendiendo qué es lo que tu consideras spam, y poco a poco irá mejorando en sus clasificaciones.

Respecto a tu pregunta de si es necesario pasar ambos comandos....
Si le pasas demasiados correos buenos "--ham" tenderá a darte falsos negativos, y si le pasas demasiados correos malos "--spam" tenderá a darte falsos positivos.

juanpablopwr · #17 (**permalink**) 26/10/2007, 07:28

Cita:

Iniciado por hispaweb

con el primero estas diciendole al spamassassin: lo que hay en esta carpeta es spam, aprendetelo

con el segundo comando lo que estas diciendo es: lo que hay en esta carpeta es correo bueno, aprendetelo.

Lo primero que tienes que hacer es mandarle al spamassassin un numero suficiente de mensajes, como para que empiece a tomar decisiones él solito sobre lo que es spam y lo que no.

Una vez que hayas alcanzado esa "masa critica", el filtro empezará a funcionar y empezará a marcarte correos como spam.
A partir de ese momento, lo que tienes que hacer es seguir educandolo... si te marca algun mensaje como spam sin que lo sea (falso positivo), tienes que "explicarle" al spamassassin que eso no es spam, y lo haces asi: "sa-learn -ham........."
Tambien es posible que algun mensaje de spam "se cuele" sin que sea detectado. En este caso, tienes que pasarselo al spamassassin, indicandole que se trata de spam: "sa-learn --spam ................."

Poco a poco, segun le vayas pasando mas mensajes, el spamassassin irá aprendiendo qué es lo que tu consideras spam, y poco a poco irá mejorando en sus clasificaciones.

Respecto a tu pregunta de si es necesario pasar ambos comandos....
Si le pasas demasiados correos buenos "--ham" tenderá a darte falsos negativos, y si le pasas demasiados correos malos "--spam" tenderá a darte falsos positivos.

MUCHISIMAS gracias por tu ayuda, me estas ayudando muchisimo.

Yo en este momento reenvio los mails que me llegan a otras cuentas mias a la cuenta spam@ y ahi le corro el comando sa-learn
Mi pregunta es... cuando REENVIO conviene borrarle el cuerpo del mail y dejar el mail tal cual me llego a mi? conviene borrarle en el asunto el RV: ....
Porque cuando reenvio a la cuenta spam automaticamente me pone en el mail el cuerpo donde dice que me lo enviaron a mi y yo lo reenvio y el asunto lo cambia por el original (ej: WATCHES) por RV: WATCHES
Nose si reenviandolo asi como a mi me llega funciona igual o debo borrarle esas cosas al mail