Errores SSIS

ragde23fer · #1 (**permalink**) 18/07/2013, 08:23

Hola, tengo una base de datos en Note Pad y necesito pasarla a mi SQL Server, el problema que esta base de datos tiene data dificil de exportar, por que se confunden datos como Numeros por Fechas, o que el separador de columnas por comas se confunda cuando encuentra una coma dentro de un campo, etc.

¿Como puedo hacer para que se haga la carga correcta, con las respectivas correcciones de cada tabla? ojo, no quiero que se salten los datos que aparenten errados, sino quiero que sean cargados de forma correcta.

Gracias por todo.

Libras · #2 (**permalink**) 18/07/2013, 08:32

parsea tu archivo, esto es puedes parsearlo a mano(recomiendo notepad++) sustituyendo los caracteres que te dificultan la tarea por otros menos comunes(#,$ etc), ahora si quieres automatizarlo te recomiendo usar perl(lenguaje de programacion) para parsear tu archivo, creo que tambien puedes usar las herramientas de ssis pero ahi si desconozco somo sea el proceso.

saludos,
Libras

ragde23fer · #3 (**permalink**) 18/07/2013, 08:40

Cita:

Iniciado por Libras

parsea tu archivo, esto es puedes parsearlo a mano(recomiendo notepad++) sustituyendo los caracteres que te dificultan la tarea por otros menos comunes(#,$ etc), ahora si quieres automatizarlo te recomiendo usar perl(lenguaje de programacion) para parsear tu archivo, creo que tambien puedes usar las herramientas de ssis pero ahi si desconozco somo sea el proceso.

saludos,
Libras

Entiendo por parsear un archivo, por reemplazar "," (delimitador de columnas) por "#" (el caracter extraño que desee), pero al hacer esto, no se reemplazarian las "," que se encuentra dentro de los campos por ese caracter extraño? Ejemplo:

CODIGO_CLIENTE , CONSULTA
CLIE_83362812A , SOY ALEX, QUISIERA SABER DONDE ME SUSCRIBO A LA WEB

Al parsear:

CODIGO_CLIENTE # CONSULTA
CLIE_83362812A # SOY ALEX# QUISIERA SABER DONDE ME SUSCRIBO A LA WEB

Mis columnas que son 2, se dividen en 3, por el contenido de una coma en el campo...

¿Ocurre esto?

Saludos.

Libras · #4 (**permalink**) 18/07/2013, 08:54

es todo un reto parsear un archivo y mas cuando se usan las "," dentro del mismo, ahora ese archivo como lo obtienes? se genera automatico o tu lo generas de algun modo?? y una base de datos en notepad?? no puedes cambiar el separador de columnas de tu base por digamos ","(los 3 caracteres)??

ambichol · #5 (**permalink**) 18/07/2013, 09:07

creo que primero deberías subir el archivo a ACCESS, para ver si la data sube sin problemas(los campos corresponden a donde deberían ser), luego puedes importar esa data al SQL directamente por el SSIS....es una opción....

ragde23fer · #6 (**permalink**) 18/07/2013, 09:18

Cita:

Iniciado por ambichol

creo que primero deberías subir el archivo a ACCESS, para ver si la data sube sin problemas(los campos corresponden a donde deberían ser), luego puedes importar esa data al SQL directamente por el SSIS....es una opción....

Pero exportar a access o a SQL no trae el mismo problema de los delimitadores e columna?

Libras · #7 (**permalink**) 18/07/2013, 09:19

Cita:

Iniciado por ambichol

creo que primero deberías subir el archivo a ACCESS, para ver si la data sube sin problemas(los campos corresponden a donde deberían ser), luego puedes importar esa data al SQL directamente por el SSIS....es una opción....

este.......access es mas pontente que sql server para la conversion de datos???

ragde23fer · #8 (**permalink**) 18/07/2013, 09:47

Cita:

Iniciado por Libras

este.......access es mas pontente que sql server para la conversion de datos???

He visto a administradores que me dicen cosas como "El txt no carga al SQL por eso primero lo subo al ACCESS" pero no estoy seguro que esta funcion la tenga mejor.

Libras · #9 (**permalink**) 18/07/2013, 09:48

Cita:

Iniciado por ragde23fer

He visto a administradores que me dicen cosas como "El txt no carga al SQL por eso primero lo subo al ACCESS" pero no estoy seguro que esta funcion la tenga mejor.

el txt no carga a sql, yo lo parseo jejejeje

ragde23fer · #10 (**permalink**) 18/07/2013, 09:54

Pero como se parsea?... como te mencionaba en un comienzo, los campos que se encuentran dentro de mi txt tienen comas, y es la coma el separador de columnas...

La base de datos me la da el Area de Seguridad de la Informacion, la da de esa forma, hacer que cambie el delimitador por medio de una solicitud a esa area, seria una labor de medio año, a q me contesten, asi q no es una opcion.

Alguna idea? el Note Pad, me lo ponen en una carpeta determinada de ahi yo la extraigo.

Saludos.

ambichol · #11 (**permalink**) 18/07/2013, 10:13

Cita:

Iniciado por ragde23fer

Pero exportar a access o a SQL no trae el mismo problema de los delimitadores e columna?

no, simplemente comente esto para que vean si levantando el archivo a ACCESS levanta la informacion sin problemas, es decir cada campo donde deberia ser(incluido tus comas en el campo que supongo sera de observaciones)....nada mas.... en particular yo al momento de exportar - importar la data uso el delimitador "|" que es el que no me trae problemas....otra idea aparte del notepad, es que uses el ultraedit...es una opcion....

ragde23fer · #12 (**permalink**) 18/07/2013, 10:46

Cita:

Iniciado por ambichol

no, simplemente comente esto para que vean si levantando el archivo a ACCESS levanta la informacion sin problemas, es decir cada campo donde deberia ser(incluido tus comas en el campo que supongo sera de observaciones)....nada mas.... en particular yo al momento de exportar - importar la data uso el delimitador "|" que es el que no me trae problemas....otra idea aparte del notepad, es que uses el ultraedit...es una opcion....

Hola, en que me ayudaria usar el ultraedit a la hora de exportar un txt a sql server, mediante un ssis?... Saludos

Libras · #13 (**permalink**) 18/07/2013, 10:49

ultraedit es como notepad++ te muestra los caracteres especiales que tiene tu doc y es mas facil hacer un parseo manual

ambichol · #14 (**permalink**) 18/07/2013, 10:58

Cita:

Iniciado por Libras

ultraedit es como notepad++ te muestra los caracteres especiales que tiene tu doc y es mas facil hacer un parseo manual

claro, como dice libras, es para hacer un parseo manual....pero como comentaba, en ese tipo de casuisticas, personalmente uso ACCESS para hacer este proceso....pero creo cada uno tiene su forma de poder hacer sus procesos.....es lo que pienso.....

Libras · #15 (**permalink**) 18/07/2013, 11:01

una pregunta mi estimado ragde23fer, tus datos estan como los muestras en este ejemplo?

CODIGO_CLIENTE , CONSULTA
CLIE_83362812A , SOY ALEX, QUISIERA SABER DONDE ME SUSCRIBO A LA WEB

si es asi no te has fijado en algo? tu separador de columna es " , " si sustiyuyes espacio coma espacio por algun caracter especial no te afectaria en tus comas, digo si es asi como estan tus datos reales :P

ragde23fer · #16 (**permalink**) 18/07/2013, 12:13

Cita:

Iniciado por Libras

una pregunta mi estimado ragde23fer, tus datos estan como los muestras en este ejemplo?

CODIGO_CLIENTE , CONSULTA
CLIE_83362812A , SOY ALEX, QUISIERA SABER DONDE ME SUSCRIBO A LA WEB

si es asi no te has fijado en algo? tu separador de columna es " , " si sustiyuyes espacio coma espacio por algun caracter especial no te afectaria en tus comas, digo si es asi como estan tus datos reales :P

No precisamente, los archivos son 5 archivos de mas de 100 campos, separados por ";" no por "," y la separacion es:

3;14564;14;hola como estas;jkldf

Algo similar, pero tiene caracteres ";" dentro de los campos

Saludos

Libras · #17 (**permalink**) 18/07/2013, 12:18

a pues ahi es mas facil, cuando haces una insercion te bota algunos registros, la cuestion seria que econtraras que registros boto, con un open_rowset de sql server puedes hacer la carga de info y te dice en que renglon esta el error, corriges ese renglon, vuelves a cargar tus datos y si hay otro error corriges ese renglon, no creo que en todos tus renglones te encuentres con ese caso verdad?? es mas hasta podrias buscar cuales son las incidencias del ";" dentro de tu archivo por ejemplo si despues de ";" sigue un espacio en blanco o un salto de linea puedes sustuir estos por otros caracteres :P, pero como te menciono todo depende de la "estandarizacion" de tu archivo

ragde23fer · #18 (**permalink**) 18/07/2013, 12:39

Cita:

Iniciado por Libras

a pues ahi es mas facil, cuando haces una insercion te bota algunos registros, la cuestion seria que econtraras que registros boto, con un open_rowset de sql server puedes hacer la carga de info y te dice en que renglon esta el error, corriges ese renglon, vuelves a cargar tus datos y si hay otro error corriges ese renglon, no creo que en todos tus renglones te encuentres con ese caso verdad?? es mas hasta podrias buscar cuales son las incidencias del ";" dentro de tu archivo por ejemplo si despues de ";" sigue un espacio en blanco o un salto de linea puedes sustuir estos por otros caracteres :P, pero como te menciono todo depende de la "estandarizacion" de tu archivo

Lo que ocurre es lo siguiente, la data es data "DIARIA" como comentaba, son 5 txt, los 5 con mas de 100 campos, los campos de los 5 archivos, se unen y forman una sola tabla, en si es una tabla que se ha dividido en 5 partes. Ejemplo

txt 1:
CAMPO A1; CAMPO A2; CAMPO A3;....;CAMPO A100

txt 2;
CAMPO B1; CAMPO B2; CAMPO B3;...;CAMPO B130

txt 3
CAMPO C1; CAMPO C2; CAMPO C3;...;CAMPO C95

txt 4
CAMPO D1; CAMPO D2; CAMPO D3;...;CAMPO D115

txt 5
CAMPO E1; CAMPO E2; CAMPO E3;...;CAMPO E48

Todos ersos campos se ponen uno al costado de otro y conforman una sola tabla, con 150 mil registros diarios.

El reconocimiento de errores, me haria perder mucho tiempo diario, puesto q cada dia la data es nueva y los errores pueden estar en otro lugar.

Lo q intento hacer es "CREAR UN DTSX QUE PUEDA PROGRAMAR PARA QUE SE EJECUTE APROXIMADAMENTE A LAS 4AM (ya que los datos se nos brindan a las 10pm del dia anterior) Y QUE DESPUES QUE CARGO ESTA DATA TOTAL, SE EJECUTEN TODOS MIS PROCESOS, PARA QUE GENERE LAS SERIES QUE NECESITO AL SIGUIENTE DIA, DE FORMA AUTOMATICA, DE TAL FORMA QUE ANTES DE LLEGAR A MI TRABAJO, ESTE PROGRAMA MANDE (por medio de Reporting Service) TODOS LOS REPORTES QUE LAS JEFATURAS Y GERENCIAS ME SOLICITAN, ASI TENGO TIEMPO PARA DEDICAR AL ANALISIS DE LA DATA"

Ideal, no es complicado, lo unico dificil es subir la data que esta media fea.

Saludos!

Libras · #19 (**permalink**) 18/07/2013, 14:13

yo tenia un proceso parecido, eran 7 archivos de un servidor, y me llegaban archivos de 12 servidores, y no todos compartian el mismo formato, habia unos que los mandaba con las fechas dd/mm/yyyy, otros en formato mm/dd/yyyy etc, es mas habia hasta un caso en donde mandaban un solo archivo y de el habia que generar los 7 :P, y no te estoy hablando de pocos registros cada archivo tenia mas o menos unos 5,000 registros que tenian relacion entre si, como los parseaba con un ejecutable de perl(en el cual revisaba que la informacion viniera en el formato correcto cuando no la acomodaba al formato indicado) y despues los cargaba en mi base de datos, pero bueno si a ti se te acomoda hacerlo del modo en que mencionas adelante :)

ragde23fer · #20 (**permalink**) 18/07/2013, 16:31

Alguien q sepa como hacerlo?

Libras · #21 (**permalink**) 18/07/2013, 16:37

yo, ya te dije como puedes solucionarlo, por arte de magia no se va a poder, aqui ocupas parsear el archivo y lo mas facil es parsearlo con codigo fuera, ahora sabes programar??

ragde23fer · #22 (**permalink**) 18/07/2013, 17:14

Cita:

Iniciado por Libras

yo, ya te dije como puedes solucionarlo, por arte de magia no se va a poder, aqui ocupas parsear el archivo y lo mas facil es parsearlo con codigo fuera, ahora sabes programar??

Programo en .NET, Java y PHP... lo q mas domino es PHP y .NET

Libras · #23 (**permalink**) 18/07/2013, 17:17

parsealo en .net, lees renglon por renglon lo analizas y eliminas lo que no te gusta, creo que tienes un tamaño definido en tus columnas que no? digamos si en la columna 4 tienes un ; dentro de los siguientes 100 caracteres(tamaño de la columna)entonces eliminas los de dentro, digo como te digo todo depende de como este la estandarizacion de tu archivo.......