Вы находитесь на странице: 1из 140

02 / 03 / 2020

Talend Open Studio for ESB


Clase 002

Daniel García
NAE Colombia
Bogotá
02 / 03 / 2020

LEER DATOS DESDE UN


ARCHIVO
Daniel García
NAE Colombia
Bogotá
LEER DATOS DESDE UN ARCHIVO
● Cree una tarea nueva.

○ Nos aseguramos de tener seleccionada la vista de integración.

○ En el Repositorio de proyectos, haga clic con el botón derecho


en Job Designs (Diseños de tareas) y haga clic en Create
Standard Job (Crear una tarea estándar) en el menú.
LEER DATOS DESDE UN ARCHIVO
● Cree una tarea nueva.

○ En el campo Name (Nombre) del asistente New Job


(Tarea nueva), introduzca el nombre de la Tarea leerArchivoCSV.
LEER DATOS DESDE UN ARCHIVO
● Cree una tarea nueva.

○ Se recomienda añadir una finalidad y una descripción a las


tareas. A continuación, haga clic en Finish (Terminar) para
crear su Tarea.

El Job Designer (Diseñador de Tareas) abrirá una Tarea vacía.


LEER DATOS DESDE UN ARCHIVO

● Añada un componente
tFileInputDelimited
LEER DATOS DESDE UN ARCHIVO
● Configure el componente
tFileInputDelimited_1.

○ En el Diseñador de Tareas, haga clic en tFileInputDelimited_1


LEER DATOS DESDE UN ARCHIVO
● Configure el componente
tFileInputDelimited_1.

○ Para definir la configuración Basic (Básica) para el


componente, en la vista Component (Componente) haga clic
en Component.
LEER DATOS DESDE UN ARCHIVO
● Configure el componente
tFileInputDelimited_1.

Vista de parámetros de componente (tFileInputDelimited).


LEER DATOS DESDE UN ARCHIVO
● Configure el componente
tFileInputDelimited_1.

○ Property Type (Tipo de propiedad) define cómo leerá la


fuente de datos.

○ File Name/Stream (Nombre/Flujo del archivo) muestra


la ruta de entrada o salida completa del archivo.

○ Puede introducir manualmente la ruta o utilizar el botón de


puntos suspensivos [...] para indicar la ruta del archivo.
LEER DATOS DESDE UN ARCHIVO
● Configure el componente
tFileInputDelimited_1.

○ Row and Field Separators (Separadores de fila y campo)


definen el tipo de separador de fila.

○ Header (Encabezado) y Footer(Pie de página) indican


el número de filas del archivos que deben pasarse por alto.

○ Limit (Límite) muestra la cantidad máxima de líneas del


archivo que deberán leerse.
LEER DATOS DESDE UN ARCHIVO
● Configure el componente
tFileInputDelimited_1.

○ Schema (Esquema) define la estructura de datos del


archivo.

○ Para especificar la ruta y el nombre del archivo que deberá


leerse, haga clic en [...] al lado del campo File Name
(Nombre de archivo), seleccione el archivo del disco local y
haga clic en Open (Abrir).
LEER DATOS DESDE UN ARCHIVO
● Defina el esquema para el componente
tFileInputDelimited_1

○ Para definir el esquema del componente


tFileInputDelimited_1, haga clic en [...] al lado del campo
Edit schema (Editar esquema).

○ Se abrirá el asistente Schema (Esquema) de


tFileInputDelimited_1.
LEER DATOS DESDE UN ARCHIVO
● Defina el esquema para el componente
tFileInputDelimited_1

○ Se abrirá el asistente
Schema (Esquema)
de tFileInputDelimited_1.
LEER DATOS DESDE UN ARCHIVO
● Defina el esquema para el componente
tFileInputDelimited_1

○ El botón [+] añade una columna al asistente Esquema.


○ El botón [x] elimina los elementos seleccionados del asistente
Esquema.
○ Los botones [↑] y [↓] mueve los elementos seleccionados arriba
o abajo en el asistente Esquema.
LEER DATOS DESDE UN ARCHIVO
● Defina el esquema para el componente
tFileInputDelimited_1

○ En el asistente Esquema, haga clic en el icono [+] para


añadir una columna.
LEER DATOS DESDE UN ARCHIVO
● Defina el esquema para el componente
tFileInputDelimited_1

○ En la columna Column (Columna) introduzca el nombre de


campo como peliculaID.
LEER DATOS DESDE UN ARCHIVO
● Defina el esquema para el componente
tFileInputDelimited_1

○ Para designar este campo como la clave de referencia,


seleccione Key (Clave).
LEER DATOS DESDE UN ARCHIVO
● Defina el esquema para el componente
tFileInputDelimited_1

○ En la columna Type (Tipo) haga clic en Integer (Entero).


LEER DATOS DESDE UN ARCHIVO
● Defina el esquema para el componente
tFileInputDelimited_1

○ En la columna Type (Tipo) haga clic en Integer (Entero).


LEER DATOS DESDE UN ARCHIVO
● Defina el esquema para el componente
tFileInputDelimited_1

○ Asegúrese que la columna Nullable (Permitir valores nulos)


no esté marcada para que se rechacen los valores nulos en
esta columna
LEER DATOS DESDE UN ARCHIVO
● Defina el esquema para el componente
tFileInputDelimited_1

○ En la columna Length (Longitud) introduzca 4


LEER DATOS DESDE UN ARCHIVO
● Defina el esquema para el componente
tFileInputDelimited_1

○ Repita los pasos previamente explicados para todos los


campos del archivo CSV.

○ Para cerrar el asistente Esquema haga clic en OK


LEER DATOS DESDE UN ARCHIVO
● Añada el componente de registro y propague
los datos

○ Añada un componente tLogRow a la Tarea. El componente


tLogRow mostrará en la consola todas las filas de datos que
reciba.
LEER DATOS DESDE UN ARCHIVO
● Añada el componente de registro y propague
los datos

○ Para propagar los datos del componente


tFileInputDelimited_1 a tLogRow_1, en el Diseñador de
Tareas haga clic con el botón derecho en
tFileInputDelimited_1, manténgalo presionado y arrástrelo a
tLogRow_1.
LEER DATOS DESDE UN ARCHIVO
● Añada el componente de registro y propague
los datos

○ Para propagar los datos del componente


tFileInputDelimited_1 a tLogRow_1, en el Diseñador de
Tareas haga clic con el botón derecho en
tFileInputDelimited_1, manténgalo presionado y arrástrelo a
tLogRow_1.
LEER DATOS DESDE UN ARCHIVO
● Añada el componente de registro y propague
los datos

○ Método alternativo: Para vincular los componentes


también puede hacer clic con el botón derecho en el
componente de origen y luego haga clic en Row > Main (Fila
> Principal).
LEER DATOS DESDE UN ARCHIVO
● Ejecute la Tarea

○ En la vista Run (Ejecutar) de la Tarea leerArchivoCSV haga


clic en Run.

○ El componente tFileInputDelimited ha leído el archivo y su


contenido lo ha mostrado en la consola el componente
tLogRow.
02 / 03 / 2020

ORDENAR UN
ARCHIVO
Se desea ordenar el archivo peliculas.csv, donde cada registro
se muestre por fecha de lanzamiento de forma descendente, y
por orden alfabético según el título.

Daniel García
NAE Colombia
Bogotá
ORDENAR UN ARCHIVO
● Cree una tarea nueva.

○ Nos aseguramos de tener seleccionada la vista de


integración.

○ En el Repositorio de proyectos, haga clic con el botón


derecho en Job Designs (Diseños de tareas) y haga clic en
Create Standard Job (Crear una tarea estándar) en el menú.
ORDENAR UN ARCHIVO
● Cree una tarea nueva.

○ En el campo Name (Nombre) del asistente New Job


(Tarea nueva), introduzca el nombre de la Tarea
ordenarArchivoCSV.

○ El Job Designer (Diseñador de Tareas) abrirá una Tarea vacía.


ORDENAR UN ARCHIVO
● Añada y configure un componente
tFileInputDelimited.

○ Añada un componente tFileInputDelimited a la Tarea.

○ Para configurar el componente tFileInputDelimited_1, en


la vista Component (Componente) haga clic en [...] al lado
del campo FileName (Nombre de archivo), seleccione el
archivo del disco local y haga clic en Open (Abrir)
ORDENAR UN ARCHIVO
● Añada y configure un componente
tFileInputDelimited.

○ Para describir la estructura del archivo, abra el asistente


Schema (Esquema) de tFileInputDelimited_1 y haga clic
en [...] al lado del campo Edit schema (Editar esquema).

○ Haga clic en el icono [+] para añadir la primera columna e


introduzca la información de aquella columna.
ORDENAR UN ARCHIVO
● Añada y configure un componente
tFileInputDelimited.

○ Repita el paso anterior para cada columna del archivo CSV y


cierre el asistente Schema (Esquema).
ORDENAR UN ARCHIVO
● Ordene los datos en su Tarea

○ Añada un componente tSortRow a la Tarea y vincule los


dos componentes.

NOTA: El esquema del componente tFileInputDelimited_1 es


heredado del componente vinculado tSortRow, de modo que no
necesita configurarlo.
ORDENAR UN ARCHIVO
● Ordene los datos en su Tarea

○ Para ver el esquema que ha heredado, en la vista


Component (Componente) del componente tSortRow haga
clic en [...] al lado de Editar esquema.
ORDENAR UN ARCHIVO
● Ordene los datos en su Tarea

○ Para crear una nueva norma de clasificación basada en el


año de estreno de la película, haga clic en [+] en la columna
Schema (Esquema), haga clic en anioLanzamiento e
indique el orden de clasificación haciendo clic en desc.
ORDENAR UN ARCHIVO
● Ordene los datos en su Tarea

○ Para ver el resultado de la norma de clasificación, en el


Diseñador de Tareas añada un componente tLogRow y
vincule los componentes tSortRow_1 y tLogRow_1.
ORDENAR UN ARCHIVO
● Ordene los datos en su Tarea

○ Para ejecutar la Tarea, en la vista Run (Ejecutar) de la Tarea


ordenarArchivoCSV haga clic en Run (Ejecutar).

○ Ahora las películas del archivo fuente estarán ordenadas por


el año en el que se estrenaron.
ORDENAR UN ARCHIVO
● Añada una segunda norma de
clasificación

○ Para añadir una segunda norma de clasificación, en la vista


Component (Componente) del componente tSortRow_1
haga clic en (+) y en la columna Schema (Esquema) elija
"title" (título). Luego, en la columna de clasificación, elija
alpha
ORDENAR UN ARCHIVO
● Añada una segunda norma de
clasificación

○ Para ejecutar la Tarea, en la vista Run (Ejecutar) haga clic en


Ejecutar.

Ahora las películas estarán ordenadas por año de estreno y, dentro


de cada año, por orden alfabético del título de la película.
ORDENAR UN ARCHIVO
● Guarde el resultado de la Tarea en un
archivo

○ Añada un componente tfileOutputExcel al Diseñador de


Tareas y vincúlelo a tLogRow_1.
ORDENAR UN ARCHIVO
● Guarde el resultado de la Tarea en un
archivo

○ Para configurar el componente de salida, en la vista


Component (Componente) especifique la ruta y el nombre
del archivo de salida.

○ Para incluir la fila de encabezado en el archivo de salida,


seleccione Include Header (Incluir encabezado).
ORDENAR UN ARCHIVO
● Guarde el resultado de la Tarea en un
archivo

○ Para ejecutar la Tarea, en la vista Run (Ejecutar) haga clic en


Ejecutar.

○ Para comprobar el archivo peliculas_ordenadas_out.xlsx,


vaya a la carpeta en la que se creó dicho archivo y ábralo.
Se mostrará con los datos ordenados.
ORDENAR UN ARCHIVO
● Guarde el resultado de la Tarea en un
archivo

○ Para evitar que los datos ordenados se muestren en la vista


Run (Ejecutar), haga clic con el botón derecho en tLogRow_1
y haga clic en Deactivate tLogRow (Desactivar tLogRow).

○ Para ejecutar la Tarea, en la vista Run (Ejecutar) haga clic en


Ejecutar. Se volverá a ejecutar la Tarea. Sin embargo, no se
mostrarán los datos en la vista Run (Ejecutar).
02 / 03 / 2020

CREACIÓN Y UTILIZACIÓN
DE METADATA
Daniel García
NAE Colombia
Bogotá
CREACIÓN Y UTILIZACIÓN DE METADATA
● Todos los componentes pueden configurarse bien como "Built-in"
(Integrados) o como "Repository" (Repositorio).

● Para componentes "Integrados", la información como por


ejemplo cómo leer el archivo y lo que contiene:

○ Se define dentro del componente.


○ Tan solo es aplicable al componente.
○ No se puede reutilizar con ningún otro componente.
CREACIÓN Y UTILIZACIÓN DE METADATA
● Para los componentes "Repositorio", la información:

○ Se guarda como metadatos.


○ Puede reutilizarse de forma eficiente y uniforme.
○ Se puede mantener fácilmente porque los cambios a los
metadatos se pueden propagar a todas las Tareas que la
utilizan.
CREACIÓN Y UTILIZACIÓN DE METADATA
● Cree una definición de metadatos para
un archivo delimitado.
○ En el Repositorio de proyectos haga
clic en Metadata (Metadatos), haga
con el botón derecho en File delimited
(Archivo delimitado) y haga clic en
Create file delimited
(Crear archivo delimitado).
CREACIÓN Y UTILIZACIÓN DE METADATA
● Cree una definición de metadatos para
un archivo delimitado.
○ En el campo Name
(Nombre) del asistente,
introduzca PELICULAS y
recuerde llenar los
campos Proposito y
Descripción. Y haga clic
enNext (Siguiente).
CREACIÓN Y UTILIZACIÓN DE METADATA
● Cree una definición de metadatos para
un archivo delimitado.
○ Para especificar un archivo de muestra, haga clic en Browse
(Navegar) al lado del campo File (Archivo), seleccione el
archivo peliculas_demo.csv del disco local y haga clic en
Open (Abrir). El archivo aparecerá en la sección File Viewer
(Visor de archivos) del asistente.
CREACIÓN Y UTILIZACIÓN DE METADATA
● Cree una definición de metadatos para
un archivo delimitado.
CREACIÓN Y UTILIZACIÓN DE METADATA
● Cree una definición de metadatos para
un archivo delimitado.
○ Para definir los ajustes de Property Type (Tipo de
propiedad) haga clic en Next (Siguiente). En la ventana del
asistente que aparece puede definir los ajustes, como por
ejemplo cómo debe leerse el archivo, la cantidad de filas, si
es el caso, que deberían saltarse al leer el archivo y la
cantidad máxima de filas que deben procesarse.
CREACIÓN Y UTILIZACIÓN DE METADATA
● Cree una definición de metadatos para
un archivo delimitado.
CREACIÓN Y UTILIZACIÓN DE METADATA
● Cree una definición de metadatos para
un archivo delimitado.
○ Para indicar que la primera fila del archivo son los nombres
de las columnas y debería pasarse por alto, en la pestaña
Preview (Previsualización) seleccione Set heading row as
column names (Configurar encabezado como nombres de
columnas). Fíjese que al hacerlo la casilla Header
(Encabezado) aparece marcada automáticamente con el
valor 1.
CREACIÓN Y UTILIZACIÓN DE METADATA
● Cree una definición de metadatos para
un archivo delimitado.
○ Para refrescar la visualización del archivo para que refleje el
cambio efectuado, haga clic en el botón Refresh Preview
(Refrescar previsualización) y luego haga clic en Next
(Siguiente).
CREACIÓN Y UTILIZACIÓN DE METADATA
● Cree una definición de metadatos para
un archivo delimitado.
○ En el campo Name (Nombre), introduzca esquemaPeliculas.
Si la primera línea del archivo de muestra incluye los
nombres de las columnas, estos aparecerán. En caso
contrario, las columnas aparecerán como Columna 0,
Columna 1, etc., y tendrá que cambiarse el nombre
manualmente.
CREACIÓN Y UTILIZACIÓN DE METADATA
● Cree una definición de metadatos para
un archivo delimitado.
○ Al adivinar el esquema, Talend tan solo lee las primeras
cincuenta líneas del archivo de muestra y basándose en los
datos de esas filas define los tipos y la longitud de columna.
Es conveniente que valide la información que aparece o
corregirla en su caso.
CREACIÓN Y UTILIZACIÓN DE METADATA
● Cree una definición de metadatos para
un archivo delimitado.
○ Actualice el esquema que aparece para que refleje la
estructura del archivo de muestra. En este caso, cambie la
longitud de los campos title y url a 100 y 250,
respectivamente. Modifique también el tipo del campo
directorID a integer (entero) con longitud 3. Haga clic en
Finish (Terminar).
CREACIÓN Y UTILIZACIÓN DE METADATA
● Cree una definición de metadatos para
un archivo delimitado.
CREACIÓN Y UTILIZACIÓN DE METADATA
● Cree una definición de metadatos para
un archivo delimitado.
○ En Metadata (Metadatos) de Project Repository (Repositorio
de proyectos), la entrada PELICULAS 0.1 aparece con las
propiedades de archivo. En la entrada PELICULAS 0.1
aparece el esquema del archivo de metadatos,
esquemaPeliculas.
CREACIÓN Y UTILIZACIÓN DE METADATA
● Cree una definición de metadatos para
un archivo delimitado.
○ Si necesita modificar el tipo de propiedad o el esquema,
haga clic con el botón derecho en el componente del
Repositorio de proyectos y seleccione Edit File Delimited
(Editar el archivo delimitado) o Edit Schema (Editar
esquema).
04 / 03 / 2020

Talend Open Studio for ESB


Clase 003

Daniel García
NAE Colombia
Bogotá
FILTRAR DATOS CON EL COMPONENTE TMAP
● Cree una nueva Tarea, añada los metadatos de
"movies" (películas) como fuente de entrada y
añada un componente tMap.

○ Cree una nueva Tarea estándar y llámela tMapFilter.


○ Añada el archivo de metadatos de películas como componente
delimitado de entrada.
○ Añada un componente tMap que pueda modificar el esquema y
filtrar columnas.
FILTRAR DATOS CON EL COMPONENTE TMAP
● Cree una nueva Tarea, añada los metadatos de
"movies" (películas) como fuente de entrada y
añada un componente tMap.

○ Cree un flujo de datos a partir del componente "PELICULAS"


hacia tMap_1 vinculando los dos componentes.
FILTRAR DATOS CON EL COMPONENTE TMAP
● Configure el componente tMap_1 para filtrar
columnas.

○ Haga doble clic en el componente tMap_1.


La ventana del asistente de tMap_1 tiene cuatro apartados
principales:

■ El apartado de la izquierda muestra los flujos de datos


entrantes. Fíjese que puede haber varias entradas al
componente tMap.
FILTRAR DATOS CON EL COMPONENTE TMAP
● Configure el componente tMap_1 para filtrar
columnas.

○ Haga doble clic en el componente tMap_1.


La ventana del asistente de tMap_1 tiene cuatro apartados
principales:

■ El apartado del centro muestra los vínculos de mapeo entre


los flujos de datos de entrada y de salida. Aquí también
puede crear variables que utilicen valores de entrada y que
luego se utilicen para producir los de salida.
FILTRAR DATOS CON EL COMPONENTE TMAP
● Configure el componente tMap_1 para filtrar
columnas.
○ Haga doble clic en el componente tMap_1.
La ventana del asistente de tMap_1 tiene cuatro apartados
principales:

■ El apartado de la derecha muestra los flujos de datos de


salida.
FILTRAR DATOS CON EL COMPONENTE TMAP
● Configure el componente tMap_1 para filtrar
columnas.

○ Haga doble clic en el componente tMap_1.


La ventana del asistente de tMap_1 tiene cuatro apartados
principales:

■ El apartado de abajo es el Editor de esquemas, que puede


utilizarse para modificar el esquema de un flujo de entrada
o de salida. Para editar un Esquema, seleccione el flujo de
entrada/salida del esquema que desea cambiar (el flujo
seleccionado aparecerá resaltado en amarillo) y edítelo en
el Editor de esquemas.
FILTRAR DATOS CON EL COMPONENTE TMAP
● Configure el componente tMap_1 para filtrar
columnas.

○ Para crear un nuevo componente de salida, en la sección de


salida del asistente de tMap_1 haga clic en el botón [+], asigne
el nombre salidaFiltrada al valor resultante y haga clic en OK. Se
habrá creado un valor de salida vacío.

○ Para añadir columnas al valor de salida, en el Editor de


esquemas del mismo haga clic en el icono [+].
FILTRAR DATOS CON EL COMPONENTE TMAP
● Configure el componente tMap_1 para filtrar
columnas.

○ Defina una columna para el ID de película (Column: movieID,


Type: Integer (Entero) y Length: 4

NOTA: El nombre de la columna de salida no tiene por qué ser el


mismo que el de entrada. Para cambiar el nombre de columna,
modifique la entrada en el Editor de esquemas.
FILTRAR DATOS CON EL COMPONENTE TMAP
● Configure el componente tMap_1 para filtrar
columnas.

○ Para enviar los datos desde la columna peliculaID del archivo de


entrada a la columna de salida, haga clic en peliculaID,
manténgala pulsada y arrástrela a la columna Expression de
salidaFiltrada. Aparecerá una flecha amarilla que le mostrará el
flujo de los datos.
FILTRAR DATOS CON EL COMPONENTE TMAP
● Configure el componente tMap_1 para filtrar
columnas.

○ Para añadir las columnas title (título) y anioLanzamiento al


componente de salida y vincularlos, seleccione y arrastre las
columnas desde el componente de entrada al de salida.

○ Para cambiar el orden de las columnas en el componente de


salida, haga clic en los iconos [↑] o [↓]. Se actualizarán el orden
de las columnas y los vínculos correspondientes.
FILTRAR DATOS CON EL COMPONENTE TMAP
● Utilice el componente tMap_1 configurado.

○ Para mostrar el valor de salida procesado por el componente


tMap_1, añada un componente tLogRow al Diseñador de tareas
y vincule el valor de salida salidaFiltrada del componente
tMap_1 al componente tLogRow_1.

○ Para ejecutar la Tarea, en la vista Run (Ejecutar) haga clic en


Run.

Tan solo aparecerán los datos de películas filtrados (peliculaID,


anioLanzamiento y title).
02 / 03 / 2020

UNIR DOS FUENTES DE


DATOS CON EL
COMPONENTE tMap
Daniel García
NAE Colombia
Bogotá
UNIR DOS FUENTES DE DATOS CON EL
COMPONENTE tMap
● Cree una nueva Tarea y añada un componente
fuente

○ En una nueva Tarea, añada el archivo de metadatos de películas


a la Tarea como un componente tFileInputDelimited.

○ Fíjese que la columna url del archivo de


películas_demo.csv representa aquellos enlaces donde
podemos encontrar la pelicula. Ahora bien, utilizaremos la
columna “title” para unir el archivo de películas_demo a
la columna “title” del archivo de
peliculas_gano_premios.csv.
UNIR DOS FUENTES DE DATOS CON EL
COMPONENTE tMap
● Cree un nuevo archivo de metadatos basado en
el archivo simple con el nombre directors.csv y
añádalo como segunda fuente

○ Incluya un nuevo componente de archivo delimitado con el


nombre PELICULAS PREMIOS y procedemos a cargar el archivo
que descargamos llamado peliculas_gano_premios.csv.

○ Para especificar un archivo de muestra, haga clic en Browse


(Navegar) al lado del campo File (Archivo), seleccione el archivo
csv del disco local y haga clic en Open (Abrir).
UNIR DOS FUENTES DE DATOS CON EL
COMPONENTE tMap
● Cree un nuevo archivo de metadatos basado en
el archivo simple con el nombre directors.csv y
añádalo como segunda fuente

○ Definimos el esquema del nuevo archivo


peliculas_gano_premios.csv y configuramos los parámetros
CSV y de encabezado correspondiente.
UNIR DOS FUENTES DE DATOS CON EL
COMPONENTE tMap
● Añada y configure un componente tMap para
vincular los dos componentes fuente.

○ Añada un componente tMap al Diseñador de tareas.

○ Para crear un flujo de datos entre los dos componentes hacia el


componente tMap, primero vincule “PELÍCULAS PREMIOS” al
componente tMap_1, y luego vincule "PELICULAS" a tMap_1.
UNIR DOS FUENTES DE DATOS CON EL
COMPONENTE tMap
● Añada y configure un componente tMap para
vincular los dos componentes fuente.

○ Para cambiar el nombre del enlace entre el componente fuente


y tMap, haga clic en el enlace dos veces y escriba
peliculas_premios. Asimismo, cambie el nombre del otro
enlace a peliculas_base.
UNIR DOS FUENTES DE DATOS CON EL
COMPONENTE tMap
● Añada y configure un componente tMap para
vincular los dos componentes fuente

○ Para abrir el asistente del componente tMap, haga doble clic en


el componente.

○ Fíjese que en la sección izquierda del asistente, tanto


"películas_premios" como "peliculas_base" aparecen
enumerados como entradas del componente tMap.
UNIR DOS FUENTES DE DATOS CON EL
COMPONENTE tMap
● Añada y configure un componente tMap para
vincular los dos componentes fuente

○ Para crear un nuevo flujo de datos de salida, en la sección de


salida del asistente de tMap haga clic en [+], asigne el nombre
peliculasCruzaron al nuevo resultado y haga clic en OK. Se
creará un flujo de datos de salida vacío.
UNIR DOS FUENTES DE DATOS CON EL
COMPONENTE tMap
● Añada y configure un componente tMap para
vincular los dos componentes fuente

○ Para añadir los campos peliculaID, title al flujo de datos de


salida, seleccione los dos campos de la entrada
"peliculas_premios" y arrástrelos hasta el flujo de datos de
salida. Del mismo modo, añada el campo anioLanzamiento, url y
directorID al flujo de datos de salida desde la entrada
"peliculas_base".
UNIR DOS FUENTES DE DATOS CON EL
COMPONENTE tMap
● Añada y configure un componente tMap para
vincular los dos componentes fuente

○ Para configurar la combinación, seleccione la columna title de


la tabla de películas_premios y arrástrela a la columna title
de la tabla de peliculas_base.
UNIR DOS FUENTES DE DATOS CON EL
COMPONENTE tMap
● Guarde el resultado en un archivo

○ Para indicar un destino para el resultado, añada un componente


tFileOutputExcel al Diseñador de tareas y vincule a este el
resultado peliculasCruzaron del componente tMap.

○ Para configurar el componente de salida, en la vista Component


(Componente) especifique la ruta y el nombre del archivo de
salida e incluya una fila de encabezado en el archivo de salida.
UNIR DOS FUENTES DE DATOS CON EL
COMPONENTE tMap
● Guarde el resultado en un archivo

○ Para ejecutar la Tarea, en la vista Run (Ejecutar) haga clic en


Run.

○ Para comprobar el archivo peliculasCruzaron.csv, vaya a la


carpeta en la que se creó el archivo y ábralo.
UNIR DOS FUENTES DE DATOS CON EL
COMPONENTE tMap
● Guarde el resultado en un archivo
○ La conducta por defecto de la herramienta de ETL es:
■ Se mostrarán todas las filas de la tabla impulsora.
■ Si la condición de combinación no se satisface, los campos
de salida correspondientes aparecerán en blanco. Esto es
un "left outer join" (combinación externa de la
izquierda).Por contra, puede configurar la combinación en
tMap como "inner join" ("combinación interna"), que tan
solo mostrará las filas en las que la condición de
combinación sí se satisfaga.
10 / 03 / 2020

Talend Open Studio for ESB


Clase 004

Daniel García
NAE Colombia
Bogotá
02 / 03 / 2020

DIFERENCIAS ENTRE
COMPONENTES: tMap vs
tJoin
Daniel García
NAE Colombia
Bogota
DIFERENCIAS ENTRE COMPONENTES:
tMap vs tJoin
Tanto tJoin como tMap se pueden usar para hacer una unión entre
diferentes fuentes de información. Sin embargo, los dos componentes
tienen sus diferencias, dependiendo de las necesidades de su negocio.

tJoin es un componente básico utilizado para hacer una unión, incluida la


unión interna y la unión externa izquierda, entre dos fuentes de datos.
tMap es más poderoso en términos de funcionalidad que tJoin, aunque
tMap se puede usar para realizar la misma funcionalidad.
DIFERENCIAS ENTRE COMPONENTES:
tMap vs tJoin
Tanto tJoin como tMap se pueden usar para hacer una unión entre
diferentes fuentes de información. Sin embargo, los dos componentes
tienen sus diferencias, dependiendo de las necesidades de su negocio.

tJoin es un componente básico utilizado para hacer una unión, incluida la


unión interna y la unión externa izquierda, entre dos fuentes de datos.
tMap es más poderoso en términos de funcionalidad que tJoin, aunque
tMap se puede usar para realizar la misma funcionalidad.
DIFERENCIAS ENTRE COMPONENTES:
tMap vs tJoin
Diferencias:

● tMap puede tener muchos enlaces de salida en comparación con


tJoin, que solo tiene enlaces principales y de rechazo.

● tMap admite escribir expresiones en las columnas mientras


proporciona la condición de unión, mientras que tJoin solo admite
coincidencias exactas entre las claves.

● tMap admite el almacenamiento de los datos de búsqueda en el


disco.
DIFERENCIAS ENTRE COMPONENTES:
tMap vs tJoin
Diferencias:

● tMap le permite recargar los datos de búsqueda para cada registro


principal.

● tMap admite más tipos de modelos de combinación, incluye


combinación única, primera combinación y todas las combinaciones,
mientras que tJoin solo admite combinación única.

● tMap le permite vincular múltiples flujos de búsqueda y admite la


carga de múltiples flujos de búsqueda en paralelo. tJoin sólo acepta
un flujo de búsqueda.
DIFERENCIAS ENTRE COMPONENTES:
tMap vs tJoin
Diferencias:

● tMap genera más código fuente y puede tomar más espacio y


tiempo de carga en la memoria durante la compilación que tJoin. Por
lo tanto, debemos usar tJoin si es suficiente para nuestros requisitos,
de lo contrario, tMap sera la opción a elegir.

● tMap admite la opción 'morir en caso de error'.


04 / 03 / 2020

ELIMINAR DUPLICADOS CON EL


COMPONENTE tUniqRow
Daniel García
NAE Colombia
Bogotá
04 / 03 / 2020

FILTRAR DATOS CON EL


COMPONENTE tMap
Daniel García
NAE Colombia
Bogotá
04 / 03 / 2020

FILTROS CON CONDICIONES


CON EL COMPONENTE tMap
Daniel García
NAE Colombia
Bogotá
11 / 03 / 2020

Talend Open Studio for ESB


Clase 005

Daniel García
NAE Colombia
Bogotá
11 / 03 / 2020

CREAR UNA CONEXION A BD


Y DEFINIRLA COMO METADATA
Daniel García
NAE Colombia
Bogotá
CREAR UNA CONEXION A BD Y DEFINIRLA COMO
METADATA

● Expandimos el item METADATA ubicado en el repositorio del


proyecto.

● Hacemos click derecho en Db Connections > Crear Conexión.

● Una nueva ventana de creación de conexión aparecerá.

○ Le damos un nombre a la conexión en el campo Name.

NOTA: No olvidar agregar un Propósito (Purpose) y una Descripción


(Description) como parte de las buenas prácticas de desarrollo en Talend.
CREAR UNA CONEXION A BD Y DEFINIRLA COMO
METADATA

● Elegimos el tipo de Base de Datos con la cual estableceremos una


conexión.

● Terminamos de configurar el resto de detalles y parámetros de


conexión a la Base de Datos (versión de la BD, nombre de BD,
usuario, contraseña, host, puerto, esquema, etc).

● En esa misma ventana, luego de configurar los parametros de


conexion, podemos chequear/evaluar si la conexión funciona
correctamente.
CREAR UNA CONEXION A BD Y DEFINIRLA COMO
METADATA

● Configurar el esquema de las tablas de la BD a la cual queremos


establecer una conexión.

● Hacemos click derecho en la conexión que acabamos de crear y


luego click en Extraer Esquema.

● Luego, en la siguiente ventana dejaremos todos los parámetros


como estan por defecto para configurar todas tablas de la BD a la
cual quiero conectarme, y hacemos click en Next.
CREAR UNA CONEXION A BD Y DEFINIRLA COMO
METADATA

● Expandimos el nombre de la base de datos a la cual queremos


conectarnos y marcamos la checkbox padre para de esta forma
seleccionar todas las tablas que estén en dicha BD.

● Luego veremos una nueva ventana con el listado de todas las tablas
que se encuentran en la BD, y una sección donde si es necesario,
podremos ajustar el esquema que Talend adivino para cada una de
las tablas.
CREAR UNA CONEXION A BD Y DEFINIRLA COMO
METADATA

● Si expandimos el subitem “Table schemas” ubicado en el


repositorio del proyecto, podemos visualizar las tablas de la BD
configurados.

● Si queremos agregar alguna de estas tablas de BD en nuestra tarea,


solo debemos arrastrar alguna de las tablas hacia el lienzo de diseño
de tareas.

● Talend presentará una serie de componentes que pueden ser usados


con la conexión que acabamos de crear.
CREAR UNA CONEXION A BD Y DEFINIRLA COMO
METADATA

● Elegimos el componente para manejar un flujo de información de


entrada proveniente de una BD.

● Hacemos click en el componente que acabamos de agregar a la


tarea y seguidamente otro click en la pestaña “Component” para
visualizar todos los parametros de conexion a la BD, incluyendo el
query SQL pre configurado para realizar la primera consulta a través
de esta conexión.
CREAR UNA CONEXION A BD Y DEFINIRLA COMO
METADATA

● Para observar que el componente está apropiadamente configurado,


y que podemos consultar todas las tablas de la BD agregamos un
tLogRow y conectamos estos dos componentes.

● Finalmente hacemos click en la pestaña Run, y luego en el botón


Run para ejecutar nuestra tarea y visualizar el resultado del query
por consola.
11 / 03 / 2020

VARIABLES DE CONTEXTO
Daniel García
NAE Colombia
Bogotá
VARIABLES DE CONTEXTO
Grupos de Variables de Contexto

Son grupos de variables que cambian su valor dependiendo del contexto


en el cual corre la tarea.

Procedimiento para crear grupos de variables de contexto:

● Crear un grupo de contexto de repositorio.

○ El repositorio del proyecto hacemos click derecho en Contexts


> Create context group. En el campo nombre de la ventana
de creación / edición de grupos de contexto, escriban
propiedadesBaseDeDatos y luego hacemos click en Next.
VARIABLES DE CONTEXTO
Grupos de Variables de Contexto

Son grupos de variables que cambian su valor dependiendo del contexto


en el cual corre la tarea.

Procedimiento para crear grupos de variables de contexto:

● Crear un grupo de contexto de repositorio.

○ Para añadir variables al grupo de contexto, hacemos click en el


botón “+”. Lo haremos 5 veces para los siguientes campos:
host, port, database, username y password.
VARIABLES DE CONTEXTO
Grupos de Variables de Contexto

Son grupos de variables que cambian su valor dependiendo del contexto


en el cual corre la tarea.

Procedimiento para crear grupos de variables de contexto:

● Crear un grupo de contexto de repositorio.

○ Para cambiar el tipo de dato de cada campo, se debe hacer click


en la columna “Type” de la respectiva fila que representa el
campo que queremos editar.
VARIABLES DE CONTEXTO
Grupos de Variables de Contexto

Son grupos de variables que cambian su valor dependiendo del contexto


en el cual corre la tarea.

Procedimiento para crear grupos de variables de contexto:

● Crear un grupo de contexto de repositorio.

○ En la columna de valores por defecto, asigna los valores para


cada variable en función a los parámetros proporcionados para
el acceso a dicha base de datos.
VARIABLES DE CONTEXTO
Grupos de Variables de Contexto

Son grupos de variables que cambian su valor dependiendo del contexto


en el cual corre la tarea.

Procedimiento para crear grupos de variables de contexto:

● Importamos el grupo de variables de contexto para usar las


variables en una tarea.

○ Para mostrar todos los grupos de contexto en el Repositorio del


proyecto, en la vista Contextos, haga clic en el botón Importar
contexto al lado del botón [↓].
VARIABLES DE CONTEXTO
Grupos de Variables de Contexto

Son grupos de variables que cambian su valor dependiendo del contexto


en el cual corre la tarea.

Procedimiento para crear grupos de variables de contexto:

● Importamos el grupo de variables de contexto para usar las


variables en una tarea.

○ Para seleccionar todas las variables, en la ventana seleccionar


variables de contexto que aparece, seleccione Contexto:
propiedadBaseDeDatos.
VARIABLES DE CONTEXTO
Grupos de Variables de Contexto

Son grupos de variables que cambian su valor dependiendo del contexto


en el cual corre la tarea.

Procedimiento para crear grupos de variables de contexto:

● Importamos el grupo de variables de contexto para usar las


variables en una tarea.

○ Método alternativo: puede expandir el grupo de contexto y


seleccionar solo unas pocas variables.
VARIABLES DE CONTEXTO
Procedimiento para crear grupos de variables de contexto:

● Importamos el grupo de variables de contexto para usar las


variables en una tarea.

○ Las variables se importan al trabajo junto con sus valores. Tenga


en cuenta que no puede cambiar los valores en esta ventana
porque pertenecen al grupo de contexto en el repositorio.
VARIABLES DE CONTEXTO
Procedimiento para crear grupos de variables de contexto:

● Importamos el grupo de variables de contexto para usar las


variables en una tarea.

○ Puede acceder a las variables importadas en el Trabajo


utilizando el prefijo "context." más el nombre de la variable. En
la pestaña Component del componente tDBInput, reemplace los
valores fijos de la configuración con la variable correspondiente
del grupo de contexto.
VARIABLES DE CONTEXTO
Procedimiento para crear grupos de variables de contexto:

● Importamos el grupo de variables de contexto para usar las


variables en una tarea.

○ Nota: Al cambiar estos campos, puede invocar la ventana de


autocompletado escribiendo las primeras letras de la palabra y
luego presionando las teclas Ctrl + Espacio.
VARIABLES DE CONTEXTO
Procedimiento para crear grupos de variables de contexto:

● Importamos el grupo de variables de contexto para usar las


variables en una tarea.

○ Para ejecutar la tarea, en la vista RUN (Ejecutar), haga clic en


Run. El trabajo se ejecutará utilizando las variables y los valores
predeterminados definidos en el grupo de contexto.
VARIABLES DE CONTEXTO
Procedimiento para crear grupos de variables de contexto:

● Agregaremos más contextos al trabajo

○ En el Repositorio del proyecto, haga clic con el botón derecho en


propiedadesBaseDeDatos 0.1 > Edit context group.

○ En el asistente de Creacion / Edicion de grupo de contexto, haga


clic en Next.
VARIABLES DE CONTEXTO
Procedimiento para crear grupos de variables de contexto:

● Agregaremos más contextos al trabajo

○ Para crear y configurar un nuevo contexto, haga clic en el botón


[+] junto a la columna Default. En la ventana de configuración
de contextos que aparece, haga clic en New y escriba
Production nombre.

○ Del mismo modo, agregue otro contexto llamado Test. Se


crearán dos nuevos contextos, con los valores de contexto por
defecto.
VARIABLES DE CONTEXTO
Procedimiento para crear grupos de variables de contexto:

● Agregaremos más contextos al trabajo

○ Para cambiar los valores para los contextos de production y


test, haga clic en cada campo e ingrese el nuevo valor. Haz clic
en Finish.

○ Para propagar las modificaciones en la tarea, en el cuadro de


diálogo de modificaciones que aparece, haga clic en Yes.
VARIABLES DE CONTEXTO
Procedimiento para crear grupos de variables de contexto:

● Agregaremos más contextos al trabajo

○ En la ventana de detección de actualización de componentes,


asegúrese de que se hayan seleccionado los nuevos contextos y
haga clic en OK.

○ Para ver los dos nuevos contextos agregados al grupo, en la


pestaña Contextos de la tarea, desplácese hacia la derecha.
VARIABLES DE CONTEXTO
Procedimiento para crear grupos de variables de contexto:

● Agregaremos más contextos al trabajo

○ Para ejecutar la tarea, en la pestaña Run, haga clic en el grupo


de contexto que aparece como un menú desplegable al lado
derecho, y luego haga click en Run.
11 / 03 / 2020

USAR VARIABLES DE
CONTEXTO EN UNA DEFINICIÓN
DE METADATA
Daniel García
NAE Colombia
Bogotá
USAR VARIABLES DE CONTEXTO EN UNA
DEFINICIÓN DE METADATA
Procedimiento para crear grupos de variables de contexto:

● Para reemplazar los valores de propiedad fijos de los metadatos con


variables de contexto, en el Repositorio del proyecto, haga clic con el
botón derecho en los metadatos de las PELICULAS 0.1 y luego
haga clic en Edit Delimited File.

● Para exportar los valores predeterminados como contexto, en el


asistente de edición de un archivo delimitado existente, navegue
hasta el tercer paso y haga clic en Exportar como contexto.
USAR VARIABLES DE CONTEXTO EN UNA
DEFINICIÓN DE METADATA
Procedimiento para crear grupos de variables de contexto:

● En la ventana de Creación / reutilización de un grupo de contexto,


asegúrese de que esté seleccionado Create a new repository
context y a continuación haga clic en Next.

● En el campo Name, escriba peliculasContextGroup y haga clic en


Next.

Observe que todos los parámetros se han cambiado a variables con


los valores predeterminados.
USAR VARIABLES DE CONTEXTO EN UNA
DEFINICIÓN DE METADATA
Procedimiento para crear grupos de variables de contexto:

● Cierre la ventana de Creación / reutilización de un grupo de contexto


y el asistente de edición de un archivo delimitado existente.

● Para propagar las modificaciones en la tarea, en el cuadro de diálogo


de modificación que aparece, haga clic en Yes.

● En la ventana de detección de actualización, asegúrese de que se


hayan seleccionado los nuevos contextos y haga clic en OK.
USAR VARIABLES DE CONTEXTO EN UNA
DEFINICIÓN DE METADATA
Procedimiento para crear grupos de variables de contexto:

● En la pestaña de Component del componente de películas, observe


que todos los valores de propiedad predeterminados han sido
reemplazados por variables de contexto. Además, en Contexts en el
repositorio del proyecto, observe que se muestra un nuevo grupo de
contexto, peliculasContextGroup 0.1.
11 / 03 / 2020

CREAR, LEER, ACTUALIZAR Y


ELIMINAR INFORMACIÓN EN
UNA BASE DE DATOS
Daniel García
NAE Colombia
Bogotá
11 / 03 / 2020

Talend Open Studio for ESB


Clase 006

Daniel García
NAE Colombia
Bogotá
11 / 03 / 2020

ENVÍO DE CORREOS USANDO


EL COMPONENTE tSendMail
Daniel García
NAE Colombia
Bogotá
ENVÍO DE CORREOS USANDO EL COMPONENTE
tSendMail
● En la siguiente tarea usaremos, además del componente
tSendMail, los componentes tFileProperties,
tSetGlobalVariables.

tFileProperties:

Función: crear un flujo de una sola fila que muestra las propiedades
del archivo procesado.

Propósito: obtener información sobre las propiedades principales


de un archivo definido.
ENVÍO DE CORREOS USANDO EL COMPONENTE
tSendMail
● En la siguiente tarea usaremos, además del componente
tSendMail, los componentes tFileProperties,
tSetGlobalVariables

tSetGlobalVariables:

Función: permite definir y establecer variables globales en la GUI.

Propósito: facilitar el proceso de definición de variables globales.


ENVÍO DE CORREOS USANDO EL COMPONENTE
tSendMail
● En la siguiente tarea usaremos, además del componente
tSendMail, los componentes tFileProperties,
tSetGlobalVariables

tSendMail:

Función: envía correos electrónicos y archivos adjuntos a


destinatarios definidos.

Propósito: notificar a los destinatarios sobre un estado particular de


un trabajo o posibles errores.
11 / 03 / 2020

ITERAR ARCHIVO A ARCHIVO


DENTRO DE UN DIRECTORIO
DADO USANDO tFileList
Daniel García
NAE Colombia
Bogotá
ITERAR ARCHIVO A ARCHIVO DENTRO DE UN
DIRECTORIO DADO USANDO tFileList
● En la siguiente tarea usaremos el componente tFileList.

tFileList:

Función: itera en archivos o carpetas de un directorio establecido.

Propósito: recupera un conjunto de archivos o carpetas en función


de un patrón de máscara de archivo e itera en cada unidad.
11 / 03 / 2020

TALLER FINAL TALEND ESB

Daniel García
NAE Colombia
Bogotá
TALLER FINAL TALEND ESB
● INSUMOS:
○ peliculas_demo.xlsx
○ peliculas_proyecciones.xlsx

A partir de una lista seleccionada por varios directores de película, se


quiere saber la fecha de proyección más reciente y en qué ciudad se dio
dicha proyección.

Adicionalmente, se quiere saber cuáles de las películas seleccionadas se


proyectaron más de una vez.

Y por último queremos tanto enviar por correo estos resultados, como
guardarlos en una tabla en base de datos.

Вам также может понравиться