[vc_row][vc_column][vc_column_text]Existem muitos materiais distintos sobre implementação de dados e com a constante evolução do mercado é importante sempre falar sobre o assunto. Hoje decidimos compartilhar com você algumas questões relacionadas a Data Engineer ou Engenharia de Dados. Vamos falar um pouco no que ela consiste e o porquê de ser tão importante.
Mas fique calmo, aqui nesse artigo vamos deixar apenas o que realmente importa, ou seja, sem enrolação. No final eu garanto que você vai saber como esse profissional atua, as suas responsabilidades e ferramentas. Então, vamos lá?
Para começar, o que é um Data Engineer?
É a pessoa que encontra as tendências no conjunto de dados e desenvolve algoritmos para tornar dados brutos em informação útil. O Data Engineer é o cara responsável pela plataforma de dados, ele irá organizar os dados Data Source, estruturar, arquitetar e modelar para assim disponibilizá-los para o Output Layer. Ficou complicado? Espera um pouquinho que já vai ficar mais fácil.
Vamos ver agora um exemplo para ficar tudo mais claro. Imagine um tipo de negócio, podendo ser ele E-commerce, marketplace, software as a service (SaaS) ou media company. Podemos dizer que cada modelo de negócio tem suas fontes de dados, vamos usar o e-commerce como exemplo.
No e-commerce existem vários tipos de pontos de contato (vamos chamar assim nesse primeiro momento), esses pontos de contatos podem ser lojas virtuais, aplicativos, campanhas de marketing e a própria e-commerce platform, que basicamente são os meios pelo qual o cliente tem contato com a sua empresa. Em uma loja virtual ele pode navegar pelas páginas do site, colocar produtos no carrinho, conhecer promoções, assim como no aplicativo que seria como uma extensão da loja virtual. E o que todos esses pontos de contatos tem em comum? Dados, todos são fontes de dados.
As fontes de dados então seriam toda interação que o cliente tem com a empresa, quais campanhas funcionam, onde os clientes clicam e quais páginas que eles mais acessam, por exemplo. A forma mais fácil para analisarmos todos esses dados e torná-los uteis, seriam organizá-los, e é aí que surge o Data Lake que nada mais é um lugar para você organizar os dados para que seus usuários finais conhecidos como Output Layer usem essas as informações de uma forma rápida, confiável e simples.
É nesse momento que encontramos a Arquitetura de Dados e a Modelagem de dados, pois afinal você, futuro Data Engineer, precisa saber como transportar todos os dados para o Data Lake. Além de apenas transferir os dados você vai precisar organizá-los e moldá-los para encaminhar aos seus usuários finais os Output Layer.
Um infográfico para você observar melhor como funciona todo esse processo, repare que não ligamos o Data Lake ao Output Layer justamente porque entre eles existem Arquitetura e a Modelagem de Dados.
Sendo assim podemos entender que as responsabilidades de um Data Engineer vai além de apenas armazenar dados para fins analíticos (Data Lake), veja agora mais algumas responsabilidades de um Engenheiro de Dados:
Desenhar estratégias de processamento
Estabelecer política de Data Governance
Disponibilizar dados para Data Scientist e outros analistas
Criar implementação de modelo de Machine Learning
E qual conhecimento necessário para se tornar um Data Engineer?
Como você pode perceber pelo tópico anterior alguns conhecimentos na área de Ciência da Computação, Engenharia, Matemática Aplicada ou alguma outra área relacionada a TI são necessários para um bom desempenho, afinal esse papel requer um conhecimento técnico pesado.
Para se tornar um profissional será necessário experiência em várias linguagens de programação, sendo elas Python e Java, e conhecimento do design de banco de dados, SQL. Confira mais algumas áreas que você irá precisar de conhecimento:
Transferência e aplicação de dados
Segurança de dados
Estatística e Data Science
Quais ferramentas de Cloud usar?
Para conseguir armazenar e processar grandes níveis de dados é necessária uma ferramenta para te auxiliar nesse processo, pois assim você terá mais segurança e confiança para processar seus dados. Existem diversas plataformas que podem te auxiliar nesse processo, sendo alguma delas:
Cada uma dessas plataformas pode te ajudar de formas extraordinárias, todas possuem particularidades excepcionais, no qual vale a pena você pesquisar e conhecer para enfim se aprofundar.
Você sabia das certificações de Engenheiro de Dados?
Existem apenas algumas certificações específicas para Engenharia de Dados, mas há muitas outras de Ciência de Dados e Big Data que podem te auxiliar na sua jornada. Vou deixar aqui um link para você conhecer um pouco mais sobre as certificações. Nós da Fast Lane ficaríamos contentes e lisonjeados em acompanhar a sua trajetória de perto.
E aí? Você ainda tem alguma dúvida sobre como ser um Data Engineer? Acredito que não, mas caso tiver é só deixar nos comentários das nossas redes sociais que vamos te ajudar. Se quiser um conteúdo completo sobre Arquitetura de Dados e a Modelagem de dados comente também em nossas redes que vamos preparar mais um conteúdo exclusivo![/vc_column_text][us_separator size=”small” show_line=”1″][vc_column_text]Artigo redigido por Mayara Pimentel – adaptado por Karina Ríos e com revisão final de Raphael Silva.[/vc_column_text][/vc_column][/vc_row]
Estima-se que a população global de desenvolvedores atinja 71,5 milhões em 2030, 44,5 milhões desenvolvedores a mais do que temos hoje.1 Cada novo desenvolvedor traz consigo ideias e inovações que gostariam de compartilhar com o mundo. É nossa missão capacitar a próxima geração de desenvolvedores com ferramentas de classe mundial e serviços em nuvem que lhes permitam criar os aplicativos do futuro.
Esses aplicativos serão inteligentes, infundidos com IA para fornecer insights avançados. Eles incorporarão tecnologia de código aberto e bibliotecas do mundo todo. Eles serão confiáveis sob carga e protegidos por design. Além disso, eles serão construídos com ferramentas que permitem que os desenvolvedores passem da ideia para código para nuvem, sem qualquer problema.
Vemos clientes no Microsoft Azure criando esses aplicativos do futuro hoje, aproveitando tecnologias nativas de nuvem, como contêineres, Kubernetes, microsserviços, funções sem servidor e design APIcentric.[/vc_column_text][us_separator size=”small” show_line=”1″][vc_column_text]Confira matéria completa clicando no botão abaixo:[/vc_column_text][us_btn label=”Matéria Completa” link=”url:https%3A%2F%2Fnews.microsoft.com%2Fpt-br%2Fcrie-aplicativos-nativos-da-nuvem-que-podem-ser-executados-em-qualquer-lugar%2F|target:_blank”][vc_column_text]Escrito por: Gabe Monroy, vice-presidente de Experiência do Desenvolvedor do Azure[/vc_column_text][/vc_column][/vc_row]
[vc_row][vc_column][vc_column_text]Conteúdo original do site Think with Google[/vc_column_text][vc_column_text]
Paula Bellizia/Janeiro de 2021
Sempre achei a busca do Google fascinante, não só por encontrar as respostas de que eu precisava, mas, mais do que tudo, pelas perguntas possíveis. É lá que as pessoas perguntam desde as coisas mais simples às mais profundas, como se fosse um misto de oráculo e confessionário. Coletivamente, a busca do Google acaba sendo um espelho da sociedade, um raio-x em tempo real da humanidade, um grande termômetro de tendências.
Um momento importante que temos ao nos aproximarmos do fechamento de cada ano é a retrospectiva, individual e coletiva, dos últimos meses, e o impacto deles em nossas vidas. E, como não poderia deixar de ser, dado o ano que vivemos, a Year in Search de 2020 — retrospectiva do Google baseada nas buscas que as pessoas mais fizeram — acabou sendo bem diferente daquelas que vimos em anos anteriores.
Diferente por ter sido um período incrivelmente difícil, em que sentimos o impacto de crises e movimentos que definirão a história, como o coronavírus e Vidas Negras Importam.
E também porque, até então, a maioria das grandes histórias parecia acontecer longe da nossa realidade individual. Neste ano, comunidades em todo o mundo foram marcadas — e transformadas — por várias experiências similares.
Numa época em que fomos todos desafiados a enfrentar o coronavírus, o isolamento e o distanciamento social, começamos a questionar. Nunca os brasileiros buscaram tanto pela expressão “por que” acompanhada de outras palavras — houve uma alta de 24%1.
Perguntamos “por que quarentena não é 40 dias” e “por que o coronavírus recebeu esse nome”. Perguntamos “por que as pessoas dançam”. Eu mesma, vendo as notícias sobre coronavírus, racismo e retração econômica, fui perdendo a vontade de dançar.
Estávamos, majoritariamente, em casa. As buscas se tornaram o retrato mais perfeito da quarentena: “Exercícios para fazer em casa”, “Como fazer máscara em casa”, “Horta em casa”, “Brincadeiras para fazer em casa”. Buscamos pequenas formas de conforto emocional. As buscas por “como fazer bolo” cresceram, e cresceram ainda mais aquelas sobre “por que o bolo murcha”.
De forma preocupante, o medo e o isolamento começaram a mostrar seu rosto — subiram as buscas por ansiedade e ataque de pânico. Mas subiram ainda mais as buscas por ioga, meditação e técnicas de relaxamento.
Eu vi as pessoas, em isolamento, cada vez mais próximas. Em um ano tão difícil, nós encontramos formas de seguir em frente.
[vc_row][vc_column][vc_column_text]Por: Caio Ribeiro César, Bruno Emer e Bruno Lopes, Arquitetos de Solução AWS
O AWS DataSync é um serviço de transferência de dados online que simplifica, automatiza e acelera a movimentação de dados entre os sistemas de armazenamento on-premises e os serviços de armazenamento da AWS, e também entre serviços de armazenamento da AWS. Você pode usar o DataSync para migrar dados ativos para a AWS, arquivar dados para liberar a capacidade de armazenamento on-premises, replicar dados para a AWS para fins de continuidade de negócios ou transferir dados para a nuvem para análises e processamento.
O DataSync pode copiar dados entre compartilhamentos do Network File System (NFS), compartilhamentos do Server Message Block (SMB), do dispositivo AWS Snowcone, buckets do Amazon Simple Storage Service (Amazon S3), sistemas de arquivos do Amazon Elastic File System (Amazon EFS) e do Amazon FSx for Windows File Server.
Você pode migrar seu armazenamento localizado no Azure para o Amazon FSx (ou até outros tipos de storage) a fim de migrar seus aplicativos para AWS. Desde Julho 2020, a imagem de DataSync em proporciona a oportunidade de trazer armazenamento e aplicativos para AWS, mantendo suas permissões de NTFS (SMB).
A AWS oferece atualmente quatro tipos de agentes DataSync: VMware ESXi, Kernel-based Virtual Machine (KVM), Microsoft Hyper-V e Amazon EC2. Importante ressaltar que estes agentes não precisam ser “instalados” no seu servidor ou File Server; apenas será necessário o download do Virtual Appliance e posterior configuração no seu sistema de virtualização.
Executar esta migração com Amazon EC2 pode até ser uma opção em armazenamentos pequenos e algum tipo de conectividade entre as nuvens AWS e Azure, porém o cenário discutido neste post é o ideal para migrações mais rápidas, em que o DataSync está localizado na nuvem Azure (source) e os clientes não querem efetuar uma VPN entre os serviços.
Outros clientes optam pela utilização do Robocopy com VPN entre as nuvens para a migração de storage. A execução de Robocopy não é recomandada em migrações massivas, pois o Robocopy possui um known issue com Eliminação de Duplicação de Dados (data deduplication). Determinados comandos do Robocopy podem corromper o repositório de dados (chunk store), eliminando a otimização de dados com o data deduplication.
Inicialmente, iremos efetuar o download e preparação do agente para Hyper-V.
[/vc_column_text][vc_video link=”https://youtu.be/Ie1BxFSw84Y”][vc_btn title=”Veja o artigo completo clicando aqui” color=”juicy-pink” link=”url:https%3A%2F%2Faws.amazon.com%2Fpt%2Fblogs%2Faws-brasil%2Fmigre-seu-azure-storage-para-a-aws-com-o-aws-datasync%2F||target:%20_blank|”][vc_cta h2=”Seja um expert AWS” color=”pink” add_button=”bottom” btn_title=”Confira aqui todos os treinamentos e certificações” btn_color=”inverse” btn_link=”url:https%3A%2F%2Fwww.flane.com.pa%2Fpt%2Famazon-web-services%3Futm_source%3Dutm_source%26utm_medium%3Dutm_medium%26utm_campaign%3Dblog%26utm_term%3Daws||target:%20_blank|”]Se você ou sua empresa desejam se antecipar à concorrência, garantir que seus funcionários sejam certificados, qualificados e altamente treinados, a Fast Lane te ajuda a ter esse diferenciação poderosa. O conhecimento obtido em diferentes áreas principais de certificação Microsoft são imprescindíveis e podem causar um enorme impacto no crescimento. Entre em contato com a Fast Lane hoje para saber mais sobre como podemos ajudá-lo a obter sua equipe e a sua certificação.[/vc_cta][/vc_column][/vc_row]
[vc_row][vc_column][vc_column_text]Por Erik Miyashita e Thiago Paulino, Arquitetos de Soluções da AWS Brasil
A computação em nuvem trouxe grandes avanços em relação a escalabilidade de APIs (Application Programming Interfaces). No entanto, mesmo com a melhora na eficiência deste processo, seguimos com a necessidade de entender onde existem gargalos de desempenho nas aplicações. Para identificar esses gargalos, uma das melhores ferramentas continua a ser o teste de carga.
Recentemente foi desenvolvida uma solução da AWS para este fim, tornando o processo de configuração de um teste de carga na AWS muito mais fácil. Trata-se de uma arquitetura que utiliza o AWS Fargate e o framework Taurus como injetores de carga.
Antes de executar qualquer teste de carga na AWS, lembre-se de reler a política para testes de carga descrita aqui.
Outro aspecto relevante a se avaliar antes de utilizar a solução são os limites. Conforme a documentação da solução, o por região, enquanto o container concorrentes por task. Portanto o limite máximo para o teste será de 50 x 200 = 10.000 requisições concorrentes.
A solução desenvolvida permite que você realize testes diretamente em um endpoint, sem a necessidade de criação de scripts. No entanto, sabemos que nem sempre o cenário a ser testado é simples, e quase sempre é necessário criar um script em uma ferramenta de testes de carga. Neste blogpost vamos ir um pouco além da solução padrão e utilizaremos o Apache JMeter como ferramenta para a criação dos scripts de teste.
Em alto nível, a solução utiliza o framework de teste Taurus sendo executado pelo AWS Fargate, gerando resultados dentro do S3 e métricas no CloudWatch. A arquitetura da solução pode ser vista abaixo:
[/vc_column_text][vc_btn title=”Veja o artigo completo clicando aqui” color=”juicy-pink” link=”url:https%3A%2F%2Faws.amazon.com%2Fpt%2Fblogs%2Faws-brasil%2Fteste-de-carga-para-apis-na-aws-usando-jmeter%2F||target:%20_blank|”][vc_cta h2=”Seja um expert AWS” color=”pink” add_button=”bottom” btn_title=”Confira aqui todos os treinamentos e certificações” btn_color=”inverse” btn_link=”url:https%3A%2F%2Fwww.flane.com.pa%2Fpt%2Famazon-web-services%3Futm_source%3Dutm_source%26utm_medium%3Dutm_medium%26utm_campaign%3Dblog%26utm_term%3Daws||target:%20_blank|”]Se você ou sua empresa desejam se antecipar à concorrência, garantir que seus funcionários sejam certificados, qualificados e altamente treinados, a Fast Lane te ajuda a ter esse diferenciação poderosa. O conhecimento obtido em diferentes áreas principais de certificação Microsoft são imprescindíveis e podem causar um enorme impacto no crescimento. Entre em contato com a Fast Lane hoje para saber mais sobre como podemos ajudá-lo a obter sua equipe e a sua certificação.[/vc_cta][/vc_column][/vc_row]
[/vc_column_text][vc_btn title=”Veja o artigo completo clicando aqui” color=”juicy-pink” link=”url:https%3A%2F%2Faws.amazon.com%2Fpt%2Fblogs%2Faws-brasil%2Fteste-de-carga-para-apis-na-aws-usando-jmeter%2F||target:%20_blank|”][vc_cta h2=”Seja um expert AWS” color=”pink” add_button=”bottom” btn_title=”Confira aqui todos os treinamentos e certificações” btn_color=”inverse” btn_link=”url:https%3A%2F%2Fwww.flane.com.pa%2Fpt%2Famazon-web-services%3Futm_source%3Dutm_source%26utm_medium%3Dutm_medium%26utm_campaign%3Dblog%26utm_term%3Daws||target:%20_blank|”]Se você ou sua empresa desejam se antecipar à concorrência, garantir que seus funcionários sejam certificados, qualificados e altamente treinados, a Fast Lane te ajuda a ter esse diferenciação poderosa. O conhecimento obtido em diferentes áreas principais de certificação Microsoft são imprescindíveis e podem causar um enorme impacto no crescimento. Entre em contato com a Fast Lane hoje para saber mais sobre como podemos ajudá-lo a obter sua equipe e a sua certificação.[/vc_cta][/vc_column][/vc_row]