{"id":6569,"date":"2021-06-15T00:00:29","date_gmt":"2021-06-15T03:00:29","guid":{"rendered":"https:\/\/www.flane.com.pa\/blog\/?p=6569"},"modified":"2024-09-20T11:42:48","modified_gmt":"2024-09-20T14:42:48","slug":"como-ser-um-profissional-data-engineer","status":"publish","type":"post","link":"https:\/\/www.flane.com.pa\/blog\/pt\/como-ser-um-profissional-data-engineer\/","title":{"rendered":"Como ser um profissional Data Engineer"},"content":{"rendered":"

Existem muitos materiais distintos sobre implementa\u00e7\u00e3o de dados e com a constante evolu\u00e7\u00e3o do mercado \u00e9 importante sempre falar sobre o assunto. Hoje decidimos compartilhar com voc\u00ea algumas quest\u00f5es relacionadas a Data Engineer ou Engenharia de Dados. Vamos falar um pouco no que ela consiste e o porqu\u00ea de ser t\u00e3o importante.<\/p>\n

Mas fique calmo, aqui nesse artigo vamos deixar apenas o que realmente importa, ou seja, sem enrola\u00e7\u00e3o. No final eu garanto que voc\u00ea vai saber como esse profissional atua, as suas responsabilidades e ferramentas. Ent\u00e3o, vamos l\u00e1?<\/p>\n

Para come\u00e7ar, o que \u00e9 um Data Engineer?<\/h4>\n

\u00c9 a pessoa que encontra as tend\u00eancias no conjunto de dados e desenvolve algoritmos para tornar dados brutos em informa\u00e7\u00e3o \u00fatil. O Data Engineer \u00e9 o cara respons\u00e1vel pela plataforma de dados, ele ir\u00e1 organizar os dados Data Source, estruturar, arquitetar e modelar para assim disponibiliz\u00e1-los para o Output Layer. Ficou complicado? Espera um pouquinho que j\u00e1 vai ficar mais f\u00e1cil.<\/p>\n

Vamos ver agora um exemplo para ficar tudo mais claro. Imagine um tipo de neg\u00f3cio, podendo ser ele E-commerce, marketplace, software as a service (SaaS) ou media company. Podemos dizer que cada modelo de neg\u00f3cio tem suas fontes de dados, vamos usar o e-commerce como exemplo.<\/p>\n

No e-commerce existem v\u00e1rios tipos de pontos de contato<\/em> (vamos chamar assim nesse primeiro momento), esses pontos de contatos podem ser lojas virtuais, aplicativos, campanhas de marketing e a pr\u00f3pria e-commerce platform, que basicamente s\u00e3o os meios pelo qual o cliente tem contato com a sua empresa. Em uma loja virtual ele pode navegar pelas p\u00e1ginas do site, colocar produtos no carrinho, conhecer promo\u00e7\u00f5es, assim como no aplicativo que seria como uma extens\u00e3o da loja virtual. E o que todos esses pontos de contatos tem em comum? Dados, todos s\u00e3o fontes de dados.<\/p>\n

As fontes de dados ent\u00e3o seriam toda intera\u00e7\u00e3o que o cliente tem com a empresa, quais campanhas funcionam, onde os clientes clicam e quais p\u00e1ginas que eles mais acessam, por exemplo. A forma mais f\u00e1cil para analisarmos todos esses dados e torn\u00e1-los uteis, seriam organiz\u00e1-los, e \u00e9 a\u00ed que surge o Data Lake que nada mais \u00e9 um lugar para voc\u00ea organizar os dados para que seus usu\u00e1rios finais conhecidos como Output Layer usem essas as informa\u00e7\u00f5es de uma forma r\u00e1pida, confi\u00e1vel e simples.<\/p>\n

\u00c9 nesse momento que encontramos a Arquitetura de Dados e a Modelagem de dados, pois afinal voc\u00ea, futuro Data Engineer, precisa saber como transportar todos os dados para o Data Lake. Al\u00e9m de apenas transferir os dados voc\u00ea vai precisar organiz\u00e1-los e mold\u00e1-los para encaminhar aos seus usu\u00e1rios finais os Output Layer.<\/p>\n

\"Data<\/p>\n

Um infogr\u00e1fico para voc\u00ea observar melhor como funciona todo esse processo, repare que n\u00e3o ligamos o Data Lake ao Output Layer justamente porque entre eles existem Arquitetura e a Modelagem de Dados.<\/p>\n

Sendo assim podemos entender que as responsabilidades de um Data Engineer vai al\u00e9m de apenas armazenar dados para fins anal\u00edticos (Data Lake), veja agora mais algumas responsabilidades de um Engenheiro de Dados:<\/p>\n