Problema: script se queda bloqueado

[Danieson]

Hola a todos.

Mi pregunta es si hay alguna manera de monitorizar los scripts python (en linux) para que si el programa monitor detecta que un script en python está parado lo cierre y lo vuelva a ejecutar...

El problema lo tengo con un script que he desarrollado en python (una especie de araña web, web crawler o internet bot, como queráis llamarlo). Que busca cierta información que me es relevante en algunas webs que tengo previamente registradas en una base de datos MySQL.

Como las webs se actualizan bastante tengo la necesidad de dejar el script siempre en marcha. El problema viene cuando al rato de estar en marcha, pasada la hora o algo así. Se queda bloqueado, no da ningún error por pantalla, ni nada, simplemente se queda como zombie... no se si me explico.

En fin, gracias por vuestro tiempo.

[AlvaroG]

Pues no creo que puedas hacer un monitoreo de este estilo, al menos no sin modificar el programa original.

El problema parece ser alguna condición de error que no estás capturando, o quizás algún tiempo de espera agotado (timeout). Esas condiciones son internas al programa y no se pueden, en principio, detectar desde fuera.

Yo probaría buscar el problema en vez de ir a por un reinicio del programa.
Una segunda opción sería modificar el programa para que cada cierto tiempo escriba algún valor que otro programa pueda leer (en un archivo, o en una bbdd), y detectar si no ha habido novedades. Pero solamente iría por esta solución si no hubiese forma de encontrar el problema original.


Saludos.

[Danieson]

Iniciado por AlvaroG

Pues no creo que puedas hacer un monitoreo de este estilo, al menos no sin modificar el programa original.

El problema parece ser alguna condición de error que no estás capturando, o quizás algún tiempo de espera agotado (timeout). Esas condiciones son internas al programa y no se pueden, en principio, detectar desde fuera.

Yo probaría buscar el problema en vez de ir a por un reinicio del programa.
Una segunda opción sería modificar el programa para que cada cierto tiempo escriba algún valor que otro programa pueda leer (en un archivo, o en una bbdd), y detectar si no ha habido novedades. Pero solamente iría por esta solución si no hubiese forma de encontrar el problema original.


Saludos.

Gracias por tu respuesta, creo que el problema es por timeout, tengo problemas de ADSL y el proceso al hacer la conexión con la base de datos (esta en otro servidor) se queda esperando...

Para la segunda opción ¿sería factible hacerlo todo en un mismo programa que este al ejecutarse cree otro proceso (la araña) y el proceso padre monitorice el tiempo de espera del proceso hijo?

saludos

[AlvaroG]

Si es por un timeout, eventualmente deberías recibir una excepción en tu programa, por lo que debería fallar, a menos que en algún punto de tu programa estés capturando excepciones genéricas e ignorándolas (lo cual no es una buena idea).

Otra solución puede ser usar un ORM que se encargue de gestionar la conexión a la base, y que abra una nueva conexión en caso de ser necesario (SQL Alchemy, por ejemplo)


Saludos.