[SOLUCIONADO] Consulta con estructura de SP (manejo de errores)

[ZedGe1505]

Hola tengo un graaaaaan SP que tiene una decena de insert de forma secuencial

Esta es la estructura básica:

Código SQL:

BEGIN Try
   LOG
   INSERT....
   LOG
 
   LOG
   INSERT....
   LOG
   
   LOG
   INSERT....
   LOG
 
   .....
END Try
BEGIN Catch
   LOG ERROR
   RETURN ERROR
END Catch
 

El problema es que si falla uno de los insert (es un insert into que puede traer tipo de datos incorrectos) deja de ejecutar el SP (obviamente).
Como puedo cambiar la estructura para que cuando falle un insert, escriba en el LOG y siga con el siguiente??

Debo hacer el try catch por cada insert en vez de uno general??

[Libras]

un try catch para cada proceso y uno general ;)

[ZedGe1505]

Y Hay forma de hacer que el registro incorrecto pase a una tabla de errores y siga haciendo el mismo insert con el registro que sigue?

[iislas]

Puedes verificar si no se hizo el INSERT, entonces tomas algunas medidas, como llevar una bitacora de errores y continuar con el proceso

[ZedGe1505]

Iniciado por iislas

Puedes verificar si no se hizo el INSERT, entonces tomas algunas medidas, como llevar una bitacora de errores y continuar con el proceso

Eso es lo que no se hacer, claramente registro el error en el log y todo, pero hay forma de hacer que el registro que se inserta y que tiene problemas (Ej cod 8114) pase a una tabla de err y siga con el siguiente dato en el insert??

[Libras]

Lo q quieres hacer se puede hacer pero registro por registro, podrias generar una tabla con los registros a insertar(tabla temporal o stage) y cada q se inserte un registro q lo elimine de esta tabla, si no lo inserta entonces no lo borra y continua con el siguiente, al final los valores q esten en la tabla seran los q tienen errores

[ZedGe1505]

Muchas gracias, es una excelente idea trataré de implementarla

[iislas]

Tengo una recochina duda, ¿es una inserccion INTERACTIVA o MASIVA?, digo, una cosa es que tengas un usuario tecleando registro a registro y otra que tengas un proceso de inserccion masiva...

[ZedGe1505]

Es un

Código SQL:

INSERT INTO table2 SELECT * FROM table1;
 

Ese es el problema de que no pueda, o no se me ocurra, como saltarme solo los registros incorrectos.

[iislas]

¿No puede manejarse mediante el SSIS?

[ZedGe1505]

El SSIS llama a un SP que divide una tabla del tipo

id, registro

en tablas periodo, y allí corta el registro en substring... pero hay veces que el registro viene con un '+' y debiese ser un int según la tabla destino...


Por ahora, cuando encuentra ese error, el SSIS manda un correo de error y esta el LOG también...
pero mi idea es optimizarlo y cuando encuentre un error, siga con el siguiente registro y no termine la ejecución


Si se puede, o si tienen alguna idea excelente, si no tendré que dejarlo como está.. no se me ha ocurrido nada por ahora

[iislas]

Pues desconozco como estas desarrolllando tu ETL, pero uno de los grandes beneficios que tienes al desarrollar ETL's con SSIS, es precisamente ese, el manejo de errores, en los cuales, si hay un error, puedes mandar tu registro a un destino y continuar con los demas registros, al final, tendras registros procesados y registros que no cumplieron con las politicas que tu definas.

No entiendo la parte donde dices, que el package manda llamar a un procedimiento, tu puedes hacer con las funciones que te proporciona el SSIS, eso y muchas mas cosas con tus campos.

Ahora bien, recuerda que dependiendo del numero de registros te convendria convertir tu ETL en un ELT, una vez en la base staging, entonces si, hacer o aplicar las formulas correspondientes.

[ZedGe1505]

Estoy pensando en crear un "CURSOR FAST_FORWARD" en vez de mi INSERT INTO y así validar los campos...

En el SSIS leo registros de un archivo plano y si hay error en alguno va un log de salida, si no se insertan en una tabla. Luego llamo a un ETL con un "Execute SQL Task" para tomar esos datos y enviarlos a otra tabla, y es allí donde no tengo control de cada registro.


Cuál es la diferencia entre ETL y ELT?? busco información pero solo salen los ETL

[iislas]

La diferencia real consiste en el TIEMPO que trascurrira en hacer uno u otro.

Como te comente, los datos, comunmente se toman de bases en produccion y la mayoria de las veces, los ETL aplican ciertos cambios o modificaciones a los datos.

Para hacer esto mucho mas rapido, se consigna que hay que "pasar la informacion en crudo", esto es, no aplicar ningun cambio, para que el tiempo sea el mas corto.

Una vez teniendo la informacion en la base staging, se aplican los cambios necesarios.

Para saber mas:
https://www.ironsidegroup.com/2015/0...ig-difference/

Ya hemos dicho por estos lugares que los CURSORES son los "asesinos" de los servidores, ya que todos los datos se cargan a memoria

[ZedGe1505]

Bue con esto terminamos el hilo si no se alargará mucho xD

Como la carga es de 2.000.000 de registros no es muy viable el cursor.
Tampoco puedo dejar que el SSIS maneje el error, ya que mis datos son cargados en una tabla y desde la tabla debo sacar los datos para insertarlos en otra... podría hacerlo en el SSIS pero necesita varias validaciones y escrituras de LOG y uno que otro update (por eso un SP).

La solución que implementé es usar "ROLLBACK TRANSACTION" y saltarme uno de los periodos... es decir si tengo 15 periodos y falla 1 los otros 14 seguiran, y el del error se avisa por email.

Gracias por todo leeré lo que mandaste