Filtrar por SQL Loader

[FaiTCRaH]

Saludos,

tengo 2 pequeñas consultas... una de ellas es referente a SQL Loader:

tengo una tabla y un archivo .dat a cargar... ambos están correctos en cuanto al nro de campos y la data... la tabla tiene 3 campos como llave... cuando se carga la data, existe la probabilidad de que existan registros repetidos... estos NO deben ser descartados del ingreso a la tabla.... sino que en vez de eso, cuando la llave se repita, se deben sumar el resto de los campos...

ej:
registro en la tabla
mes | nro_abonado | nro_cliente | consumo_mes | dias_consumo
12 5554 44874 12500 12

registro en archivo .dat
mes | nro_abonado | nro_cliente | consumo_mes | dias_consumo
12 5554 44874 40000 10
12 5554 44874 22500 5

resultado que debe quedar en la tabla:
mes | nro_abonado | nro_cliente | consumo_mes | dias_consumo
12 5554 44874 75000 27


la segunda consulta... es referente al servidor que estamos levantando... buscando distribuciones linux (netamente porque necesitamos realizar cargas remotamente a través de shell unix (linux en este caso)) encontré que RedHat y United Linux están oficialmente soportados... creo que tb SuSe y Oracle Enterprise Linux...

alguna recomendación de sistema operativo para usar con Oracle 10g release 2?

[matanga]

Hola,

SQL*Loader no actualiza filas en la carga, trabaja a nivel de tabla. La unica opcion que se me ocurre, de momento, es generar un fichero .bad con todas las filas descartadas por clave duplicada, y generar una tabla externa que tenga como source el fichero .bad, a partir de ahi, y despues de cada carga del SQL*Loader, utilizar un UPDATE para agregar el consumo_mes a la tabla de destino.

A esto le veo varias ventajas.

1. Puedes reutilizar el fichero de control para definir la tabla externa, que estara basada en el motor del loader.
2. El proceso sera rapido, para cargar la tabla externa Oracle utiliza el mismo loader.
3. El update sera rapido porque estara basado en un indice unico, la clave primaria.
3. El fichero .bad se genera automaticamente en cada carga, por lo tanto el contenido de la tabla externa se actualiza justo despues de la carga.

Lo malo, los registros que iran al fichero .bad, y que no tengan nada que ver con la clave primaria, es decir, que los envie al .bad porque, por ejemplo, no se cumplan con la longitud de algun campo, de todos modos si la tabla externa tiene la misma logica que el fichero de control, entonces tambien seran descartados.

En cuanto a la segunda pregunta, los Linux soportados para 10g segun la documentacion son,

Red Hat Enterprise Linux AS/ES 3.0 (Update 4 or later)
Red Hat Linux 4.0
SUSE Linux Enterprise Server 9.0 with SP 2 or later
Asianux 1.0
Asianux 2.0

A lo que hay que agregarle Oracle Enterprise Linux, que en realidad es Red Hat Enterprise sin el Logo, y United Linux.
La forma de elegir uno, facil, con el que te sientas mas comodo trabajando, con cualquier de ellos obtendras soporte de Oracle en caso que lo necesites. Ademas debes considerar el soporte sobre Linux, se que Red Hat, Suse y Oracle dan buenos contratos de soporte.

Ahora si me permites, esto me llamo la atencion

...buscando distribuciones linux (netamente porque necesitamos realizar cargas remotamente a través de shell unix (linux en este caso))

La eleccion del sistema operativo, desde el punto de vista de Oracle, es importante y es la primera vez que leo que se elige uno en funcion de una tarea de carga de datos. Asegurate bien, de que de hecho, no puedas resolver la problematica en algun otro sistema operativo con el que estes mas familiarizado. Esto ultimo es simplemente una opinion, nada mas :)

Saludos.

[kikolice]

regla numero uno

no complicarte la vida haciendo lo facil dificil

usa tablas externas y ese caso lo resuelves con plsql

[matanga]

Hola,

Buen post kikolice, es cierto, utilizando una tabla externa y procesarla para agrupar los duplicados resuelve el problema en varios pasos menos, pero hay que tener en cuenta que, no siempre simple es igual a optimo, de una manera haces un full-scan sobre toda la carga y de la otra manera haces un full-scan solo sobre los registros duplicados.

Siempre es bueno tener opciones a la hora de resolver un problema, en esta caso habra que tener en cuenta el tamaño promedio de la carga y la necesidad de realizarlo en el menor tiempo posible.

Saludos

[FaiTCRaH]

a lo que me refería con la elección de linux, es que la mayoría de los procesos en la empresa están sobre Unix, Linux o SunOS, por lo que Windows queda absolutamente descartado... además que tienen herramientas de shell mucho más poderosas (awk, grep, manejo de texto avanzado)

en cuanto al problema de filtrar, ya lo hice por medio de tablas externas... se pensaba hacer por sqlldr por el problema de que no siempre se tienen los permisos para ocupar tablas externas...

[matanga]

Hola,

..además que tienen herramientas de shell mucho más poderosas (awk, grep, manejo de texto avanzado)

No podria estar mas de acuerdo, las herramientas de scripting que provee Linux/Unix son mucho mas potentes que las de Windows cuando se las compara con DOS.

Hace algun tiempo atras comence a evaluar la posibilidad de utilizar WScript, que da un nivel mas avanzado y tiene la posibilidad de instanciar objetos COM, como por ejemplo ADO, para establecer conexiones a la base y realizar cualquier tarea de mantenimiento.

Finalmente me decidi por perl, de esta manera solo tengo que codificar una sola vez, ya que es multiplataforma, ahora estoy en el proceso de migrar todos mis scripts de administracion y monitoreo.

Saludos

[fenix086]

Hola a tod@s tengo un pequeño problemilla con una insercion utilizando SQL* LOADER

tengo un archivo .bat que carga los datos que están en un archivo .csv por medio de un archivo de control.
La primera vez que cargo el archivo, carga bien, pero el probema se presenta cuando lo voy a cargar por segunda vez, se supone que no me debería dejar, puesto que la llave primaria de mi bd no lo permite, pero no es asi. Me ingresa los datos, y aparte de eso me bloquea la tabla de la bd...no puedo realizar inserciones, ni puedo eliminar el registro...
que puedo hacer???

Saludos