{"id":14069,"date":"2022-07-11T09:46:52","date_gmt":"2022-07-11T09:46:52","guid":{"rendered":"https:\/\/bluetab.net\/?p=14069"},"modified":"2022-07-11T09:46:52","modified_gmt":"2022-07-11T09:46:52","slug":"algunas-de-las-capacidades-de-matillion-etl-en-google-cloud","status":"publish","type":"post","link":"https:\/\/bluetab.mx\/en\/2022\/07\/algunas-de-las-capacidades-de-matillion-etl-en-google-cloud\/","title":{"rendered":"\ufffcAlgunas de las capacidades de Matillion ETL en Google Cloud"},"content":{"rendered":"<h1>Algunas de las capacidades de Matillion ETL en Google Cloud<\/h1>\n<figure><a href=\"https:\/\/www.linkedin.com\/in\/duvan-dario-duque-ortiz\/\" target=\"_blank\" rel=\"noopener\"><img decoding=\"async\" width=\"150\" height=\"150\" src=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/03\/Isotipo-Bluetab-150x150.png\" alt=\"\" loading=\"lazy\"><\/a><\/figure>\n<h4><a href=\"https:\/\/www.linkedin.com\/in\/duvan-dario-duque-ortiz\/\" target=\"_blank\" rel=\"noopener\">Duvan Duque<\/a><\/h4>\n<p>Data Engineer | Google Cloud Associate Cloud Engineer<\/p>\n<p>Matilion ETL es un producto que nos permite recopilar datos de distintas fuentes y estructurarlos actualmente cuenta con versiones para Snowflake, Delta Lake en Databricks, Amazon Redshift, Azure Synapse, Google BigQuery siendo esta \u00faltima en la que vamos a profundizar.<\/p>\n<p>En Google cloud se cuenta con 4 opciones para implementar Matillion las cuales son:<\/p>\n<p><strong>Matillion ETL for BigQuery &#8211; Cluster:<\/strong><\/p>\n<ul>\n<li>\n\t\t\t\t\t\t\t\t\t\t12 usuarios concurrentes , 36 entornos y autobalanceo zonal para satisfacer la demanda de forma constante<\/li>\n<\/ul>\n<p><strong>Matillion ETL for BigQuery &#8211; Extra Large:<\/strong><\/p>\n<ul>\n<li>\n\t\t\t\t\t\t\t\t\t\t12 usuarios concurrentes y 36 entornos<\/li>\n<\/ul>\n<p><strong>Matillion ETL for BigQuery \u2013 Large:<\/strong><\/p>\n<ul>\n<li>\n\t\t\t\t\t\t\t\t\t\t5 usuarios concurrentes y 15 entornos<\/li>\n<\/ul>\n<p><strong>Matillion ETL for BigQuery \u2013 Medium:<\/strong><\/p>\n<ul>\n<li>\n\t\t\t\t\t\t\t\t\t\t2 usuarios concurrentes y 6 entornos<\/li>\n<\/ul>\n<p><strong>Matillion ETL for Snowflake:<\/strong><\/p>\n<ul>\n<li>\n\t\t\t\t\t\t\t\t\t\tEsta opci\u00f3n est\u00e1 dirigida a Snowflake<\/li>\n<\/ul>\n<p>El servicio se encuentra ubicado en el Marketplace de Google De ahora en adelante se hablar\u00e1 de la versi\u00f3n m\u00e9dium ya en ese momento las necesidades del proyecto no se necesitaban m\u00e1s recursos.<\/p>\n<p>Cada una de las versiones tiene un costo diferente la versi\u00f3n m\u00e9dium tiene un precio estimado sin descuentos de 1437.05 USD al mes teniendo en cuenta que la instancia se encuentre encendida durante 30 d\u00edas 24 horas y la facturaci\u00f3n m\u00ednima es por 1 minuto.<\/p>\n<p><img decoding=\"async\" width=\"647\" height=\"754\" src=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion1.png\" alt=\"\" loading=\"lazy\" srcset=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion1.png 647w, https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion1-257x300.png 257w\" sizes=\"(max-width: 647px) 100vw, 647px\"><\/p>\n<p>Una vez lanzado el servicio desde Marketplace se crear\u00e1 una instancia en compute engine la cual cuenta con una direcci\u00f3n IP est\u00e1tica mediante la cual se puede acceder al servicio<\/p>\n<p><img decoding=\"async\" width=\"706\" height=\"927\" src=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion2.png\" alt=\"\" loading=\"lazy\" srcset=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion2.png 706w, https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion2-228x300.png 228w\" sizes=\"(max-width: 706px) 100vw, 706px\"><\/p>\n<p>Una vez dentro se debe establecer estructura de proyectos los cuales pueden contener carpetas para organizar el flujo de trabajo los cuales van a contener dos tipos de Jobs orquestaci\u00f3n y transformaci\u00f3n. los cuales se pueden crear realizando un clic derecho sobre las carpetas.<\/p>\n<p><img decoding=\"async\" width=\"477\" height=\"83\" src=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion3.png\" alt=\"\" loading=\"lazy\" srcset=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion3.png 477w, https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion3-300x52.png 300w\" sizes=\"(max-width: 477px) 100vw, 477px\"><\/p>\n<p>Cada de los jobs cuenta con distintos componentes y capacidades para el caso del job de orquestaci\u00f3n son los siguientes:<\/p>\n<p><strong><br \/>\nComponentes de carga<\/strong><\/p>\n<p>Estos componentes son los que extraen informaci\u00f3n de las diversas fuentes para llevarla a Bigquery entre ellos tuve la oportunidad de usar integraciones con Hubspot, APIs, Cloud storage y Facebook. siendo estos solo una peque\u00f1a porci\u00f3n de la lista de integraciones disponibles<\/p>\n<p><img decoding=\"async\" width=\"297\" height=\"491\" src=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion4.png\" alt=\"\" loading=\"lazy\" srcset=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion4.png 297w, https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion4-181x300.png 181w\" sizes=\"(max-width: 297px) 100vw, 297px\"><\/p>\n<p><strong>Componentes de descarga<\/strong><\/p>\n<p>Los cuales principalmente tienen como fuente una tabla de Bigquery y la llevan a otro destino como Cloud Storage<\/p>\n<p><img decoding=\"async\" width=\"429\" height=\"235\" src=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion5.png\" alt=\"\" loading=\"lazy\" srcset=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion5.png 429w, https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion5-300x164.png 300w\" sizes=\"(max-width: 429px) 100vw, 429px\"><\/p>\n<p><strong>Componentes DDL<\/strong><\/p>\n<p>Los cuales permiten manipular las tablas de Bigquery<\/p>\n<p><img decoding=\"async\" width=\"429\" height=\"266\" src=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion6.png\" alt=\"\" loading=\"lazy\" srcset=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion6.png 429w, https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion6-300x186.png 300w\" sizes=\"(max-width: 429px) 100vw, 429px\"><\/p>\n<p><strong>Componentes de flujo<\/strong><\/p>\n<p>Los cuales permiten realizar operaciones con los otros componentes<\/p>\n<p><img decoding=\"async\" width=\"420\" height=\"381\" src=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion7.png\" alt=\"\" loading=\"lazy\" srcset=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion7.png 420w, https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion7-300x272.png 300w\" sizes=\"(max-width: 420px) 100vw, 420px\"><\/p>\n<p><strong>Componentes de iteraci\u00f3n<\/strong><\/p>\n<p>Los cuales permiten crear ciclos de un componente<\/p>\n<p><img decoding=\"async\" width=\"406\" height=\"372\" src=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion8.png\" alt=\"\" loading=\"lazy\" srcset=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion8.png 406w, https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion8-300x275.png 300w\" sizes=\"(max-width: 406px) 100vw, 406px\"><\/p>\n<p><strong>Componentes de c\u00f3digo<\/strong><\/p>\n<p>Los cuales permiten ejecutar c\u00f3digos como Bash, Jython, Python 2 y Python 3<\/p>\n<p><img decoding=\"async\" width=\"439\" height=\"350\" src=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion9.png\" alt=\"\" loading=\"lazy\" srcset=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion9.png 439w, https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion9-300x239.png 300w\" sizes=\"(max-width: 439px) 100vw, 439px\"><\/p>\n<p><strong>Componentes de transformaci\u00f3n<\/strong><\/p>\n<p>Los cuales permiten ejecutar otros Jobs de orquestaci\u00f3n y transformaci\u00f3n<\/p>\n<p><img decoding=\"async\" width=\"435\" height=\"385\" src=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion10.png\" alt=\"\" loading=\"lazy\" srcset=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion10.png 435w, https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion10-300x266.png 300w\" sizes=\"(max-width: 435px) 100vw, 435px\"><\/p>\n<p>los nombrados anteriormente solo son algunos de los que tuve la oportunidad de trabajar ya que eran los requeridos para alcanzar las necesidades del proyecto y cabe mencionar que la herramienta cuenta con m\u00e1s.<br \/>\nLos jobs tienen la capacidad de encadenar y ejecutar distintos componentes.<\/p>\n<p><img decoding=\"async\" width=\"941\" height=\"224\" src=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion11.png\" alt=\"\" loading=\"lazy\" srcset=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion11.png 941w, https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion11-300x71.png 300w, https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion11-768x183.png 768w\" sizes=\"(max-width: 941px) 100vw, 941px\"><\/p>\n<p>Es posible encadenar y establecer condiciones en un Job o m\u00faltiples para su ejecuci\u00f3n dentro de otro Job<\/p>\n<p><img decoding=\"async\" width=\"941\" height=\"300\" src=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion12.png\" alt=\"\" loading=\"lazy\" srcset=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion12.png 941w, https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion12-300x96.png 300w, https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion12-768x245.png 768w\" sizes=\"(max-width: 941px) 100vw, 941px\"><\/p>\n<p>se cuenta con la capacidad agendar la ejecuci\u00f3n de los Jobs dentro del propio Matillion<\/p>\n<p><img decoding=\"async\" width=\"941\" height=\"620\" src=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion13.png\" alt=\"\" loading=\"lazy\" srcset=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion13.png 941w, https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion13-300x198.png 300w, https:\/\/bluetab.net\/wp-content\/uploads\/2022\/07\/Matillion13-768x506.png 768w\" sizes=\"(max-width: 941px) 100vw, 941px\"><\/p>\n<h5>\u00bfQuieres saber m\u00e1s de lo que ofrecemos y ver otros casos de \u00e9xito?<\/h5>\n<p><a href=\"\/\" role=\"button\"><br \/>\nDESCUBRE BLUETAB<br \/>\n<\/a><\/p>\n<figure><a href=\"https:\/\/www.linkedin.com\/in\/duvan-dario-duque-ortiz\/\" target=\"_blank\" rel=\"noopener\"><img decoding=\"async\" width=\"150\" height=\"150\" src=\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/03\/Isotipo-Bluetab-150x150.png\" alt=\"\" loading=\"lazy\"><\/a><\/figure>\n<h4><a href=\"https:\/\/www.linkedin.com\/in\/duvan-dario-duque-ortiz\/\" target=\"_blank\" rel=\"noopener\">Duvan Duque<\/a><\/h4>\n<p>Data Engineer | Google Cloud Associate Cloud Engineer<\/p>\n<p><b>SOLUCIONES, <\/b>SOMOS EXPERTOS<\/p>\n<p><a href=\"\/soluciones\/data-strategy\/\"><\/a><\/p>\n<p><a href=\"\/soluciones\/data-strategy\/\"><\/a><\/p>\n<p><a href=\"\/soluciones\/data-strategy\/\"><\/a><\/p>\n<p><a href=\"\/soluciones\/data-strategy\/\"><\/p>\n<h5>DATA STRATEGY<\/h5>\n<p><\/a><a href=\"\/soluciones\/data-strategy\/\"><\/a><a href=\"\/soluciones\/data-strategy\/\"><\/a><a href=\"\/soluciones\/data-strategy\/\">\t\t\t\t\t\t<\/a><br \/>\n<a href=\"\/soluciones\/data-fabric\/\"><\/a><\/p>\n<p><a href=\"\/soluciones\/data-fabric\/\"><\/a><\/p>\n<p><a href=\"\/soluciones\/data-fabric\/\"><\/a><\/p>\n<p><a href=\"\/soluciones\/data-fabric\/\"><\/p>\n<h5>DATA FABRIC<\/h5>\n<p><\/a><a href=\"\/soluciones\/data-fabric\/\"><\/a><a href=\"\/soluciones\/data-fabric\/\"><\/a><a href=\"\/soluciones\/data-fabric\/\">\t\t\t\t\t\t<\/a><br \/>\n<a href=\"\/soluciones\/augmented-analytics\/\"><\/a><\/p>\n<p><a href=\"\/soluciones\/augmented-analytics\/\"><\/a><\/p>\n<p><a href=\"\/soluciones\/augmented-analytics\/\"><\/a><\/p>\n<p><a href=\"\/soluciones\/augmented-analytics\/\"><\/p>\n<h5>AUGMENTED ANALYTICS<\/h5>\n<p><\/a><a href=\"\/soluciones\/augmented-analytics\/\"><\/a><a href=\"\/soluciones\/augmented-analytics\/\"><\/a><a href=\"\/soluciones\/augmented-analytics\/\">\t\t\t\t\t\t<\/a><\/p>\n<p>Te puede interesar<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Algunas de las capacidades de Matillion ETL en Google Cloud Duvan Duque Data Engineer | Google Cloud Associate Cloud Engineer Matilion ETL es un producto que nos permite recopilar datos de distintas fuentes y estructurarlos actualmente cuenta con versiones para Snowflake, Delta Lake en Databricks, Amazon Redshift, Azure Synapse, Google BigQuery siendo esta \u00faltima en [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":14105,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"elementor_header_footer","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[7,9],"tags":[],"class_list":["post-14069","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-blog-es","category-tech"],"acf":[],"jetpack_featured_media_url":"","_links":{"self":[{"href":"https:\/\/bluetab.mx\/en\/wp-json\/wp\/v2\/posts\/14069","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/bluetab.mx\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/bluetab.mx\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/bluetab.mx\/en\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/bluetab.mx\/en\/wp-json\/wp\/v2\/comments?post=14069"}],"version-history":[{"count":0,"href":"https:\/\/bluetab.mx\/en\/wp-json\/wp\/v2\/posts\/14069\/revisions"}],"wp:attachment":[{"href":"https:\/\/bluetab.mx\/en\/wp-json\/wp\/v2\/media?parent=14069"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/bluetab.mx\/en\/wp-json\/wp\/v2\/categories?post=14069"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/bluetab.mx\/en\/wp-json\/wp\/v2\/tags?post=14069"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}