Datamart: Evitar las cargas de datos artesanales

Para realizar estudios concretos basados en un foto de los datos en un momento dado del tiempo funcionará cualquier tipo de carga de datos en el Datamart, incluso aquellas que requieran una manipulación más o menos pesada de la fuente o fuentes del dato con carácter previo a la realización del proceso ETL.

El problema está cuando se quiere realizar con regularidad cargas de datos en el Datamart procedentes de dichas fuentes. ¿Cuáles son los problemas?:

– El procedimiento de manipulación de la fuente de entrada debe estar perfectamente documentado para que sea reproducible. En función del equipo de personas que lo vaya a realizar deberá estar redactado con menor o mayor nivel de detalle.

– Generalmente este tratamiento artesanal se produce con fuentes de datos inestables, en el sentido de que lo mismo durante un tiempo nos proporcionan la información en un formato y después, sin control por nuestra parte, nos lo ofrecen en otro, lo que obligará a retocar la documentación del procedimiento de carga e incluso el ETL en el caso de que se ofrezcan datos nuevos o varíe el formato de los mismos.

– Se necesitará que las personas que vayan a realizar la carga de manera periódica, tengan esta tarea reflejada en su plan de operación como otra tarea más a realizar.

Salvo que no haya más remedio debido al interés de manejar y explotar la información procedentes de este tipo de fuentes mi recomendación es que se evite trabajar con ellas hasta que se haya encontrado una solución más sencilla que permita un proceso de carga desde la obtención de la información en el origen, esto obligará a realizar una inversión y a esperar algo de más tiempo para poder trabajar con el Datamart ya que será necesario esperar a tener lista la solución, de esta forma se conseguirá ahorrar esfuerzo y se podrá obtener una solución más sostenible en el tiempo.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s

A %d blogueros les gusta esto: