Antes de começar com o roadmap, acho importante discutir o que realmente é Engenharia de Dados.
Alguns anos atrás, não existiam todas essas carreiras diferentes em dados; o trabalho era dividido entre Analistas de Negócios (ou BA de Business Analysts, BI de Business Intelligence, etc) e Desenvolvedores. O hype em volta dos dados criou a demanda para os trabalhos especializados, e até hoje (uma ou duas décadas depois), o mercado ainda não se estabilizou.
De forma resumida, a Engenharia de Dados pode ser dividida em duas etapas:
Fundação das operações relacionadas a dados: planejar, desenvolver e dar manutenção para arquiteturas de dados, sistemas de processamentos e etc. Ou seja, ajudar a definir o que será usado (quais ferramentas, plataformas) e como será usado.
Construção de pipelines de dados: a partir de toda a fundação definida, passam a focar no desenvolvimento de pipelines pra baixar, transformar*, mover e disponibilizar dados no melhor formato para o restante das pessoas.
\observação: hoje, é muito comum as empresas separarem a transformação como responsabilidade dos Analytics Engineers, de forma que os Data Engineers focam na fundação*
Um pouco de história
Se formos olhar de forma rigorosa, a Engenharia de Dados surgiu no início dos anos 2000, junto com o boom da internet e com criação do conceito de "Big Data" (por muito tempo, o termo era "Big Data Engineer"). Podemos dizer que começou "oficialmente" lá em 2003 quando o Google publicou artigos sobre o seu sistema de arquivos distribuídos, e mais tarde sobre MapReduce. Inspirados nisso, engenheiros do Yahoo criaram o Hadoop em 2006, e a partir daí a história foi se desenvolvendo.
Mas os fundamentos - a ideia de Data Warehouse, de ETL - surgiram muitos anos antes. O termo "Data Warehouse" foi cunhado entre as décadas de 60 e 70, mas foi estabelecido de verdade com a publicação do livro "Construindo um Data Warehouse", de Bill Inmon (considerado pai dos data warehouses).
Outro marco importante foi o surgimento da computação em nuvem, com a AWS em 2006. Essa mudança de paradigma diminuiu os custos relacionados ao tratamento de dados, permitindo escalabilidade e flexibilidade. E a partir daí foram surgindo novas ferramentas para lidar com as necessidades de forma eficiente.
Principais responsabilidades de um Engenheiro de Dados
De forma geral, podemos considerar o seguinte como responsabilidades da área de engenharia de dados
Construir e manter uma infraestrutura de dados escalável
Definir a arquitetura de dados (Data Warehouse, Data Lake, etc), criando uma estrutura que atenda as necessidades atuais mas que possa escalar para os requisitos futuros
Implementar os modelos de dados planejados, estruturando os dados de forma que suportem acessos e consultas de forma eficiente
Garantir qualidade, segurança e governança de dados
Implementar validações e testes para garantir a acurácia, confiança e consistência dos dados
Estabelecer padrões para uso dos dados, e garantir que estão sendo seguidos.
Otimizar custos
- Otimizar o armazenamento de dados e a performance de consultas e processamentos, usando as melhores práticas de indexação, particionamento e clusterização
Monitoramento e manutenção de pipelines de dados
- Implementar processos de validação, sistemas de alertas e notificação, ferramentas de automação de workflows, de forma que qualquer problema no processamento seja detectado o mais rápido possível
Principais habilidades de um Engenheiro de Dados
Atualmente o mercado exige muito mais do que somente SQL, Python e uma plataforma de nuvem ou banco de dados. Na minha experiência, além desses 3 pilares é preciso ter:
Conhecimentos básicos de engenharia de software: versionamento e git, CI/CD
O básico de linux, redes, infraestrutura. Em alguns casos, uma ferramenta de automação de deploy como terraform ou ansible
Um framework de processamento de dados, como spark
Conhecimento de um orquestrador, sendo Airflow o mais comum
API's, HTTP, web scrapping
Arquitetura de dados, modelagem e conhecimentos básicos de bancos de dados (SQL vs noSQL, por exemplo)
Em casos mais avançados, conhecimento sobre processamento em streaming. Kafka, Flink, além do próprio spark
E mais recentemente, a utilização de uma ferramenta de transformação de dados, como dbt ou dataform
Comparação de carreiras
| Cargo | Responsabilidades | Principais habilidades |
| Engenheiro de dados | Desenvolve e mantém arquiteturas e pipelines de dados. | SQL, Python, plataformas de nuvem |
| Engenheiro de analytics | Intermediário entre engenharia e análise, focando na transformação de dados brutos para formatos utilizáveis pelos analistas e cientistas | Modelagem de dados, SQL, Python |
| Cientista de dados | Analisa os dados para extrair insights e construir modelos preditivos | Estatística, Machine Learning, R/Python |
| Analista de dados | Interpreta dados e provê insights para ajudar em decisões de negócio | Data visualization, SQL, planilhas |
Onde esses cargos colaboram
Engenheiros de dados e Engenheiros de analytics: Colaboram para garantir que os dados estão propriamente estruturados e disponíveis para análises
Engenheiros de analytics e Cientistas de dados: Trabalham juntos para transformar os dados em formatos próprios para modelagem e análise
Cientistas de dados e Analistas de dados: Ambos interpretam dados, mas os cientistas de dados costumam desenvolver modelos, enquanto os analistas focam em apresentação de insights
Um exemplo do mundo real
Engenheiro de dados: Configuram uma pipeline que baixa dados de uma ferramenta de análise de interação dos usuários num site
Engenheiro de analytics: Transformam esses dados brutos em tabelas estruturadas com as métricas e dimensões mais importantes
Cientista de dados: Usam os dados estruturados para prever abandono e conversão de usuários
Analista de dados: Interpretam os dados estruturados e os resultados do modelo para fazer recomendações de negócio, como aumentar a retenção de usuários
Uma análise do mercado de trabalho
De acordo com o Market Data Forecast, o mercado global de Engenharia de Dados valeu 75 bilhões de dólares em 2024, e a taxa de crescimento anual projetada é de 17% até 2033, de forma que deve atingir os 88 bilhões de dólares ainda em 2025. Isso tudo devido a alguns fatores levantados pela pesquisa:
A rápida adoção de Big Data no setor bancário e fintechs
O sempre crescente volume de dados
Aumento da demanda para análises e insights em tempo real A pesquisa também aponta a dificuldade de informações em tempo real como uma barreira no crescimento.
Quando falamos de vagas, de acordo com o Tech Job Report da Dice, Engenharia de dados é a 6ª carreira com mais publicações de vagas, tendo um crescimento de 42% de 2021 para 2022. Além disso, SQL e Python são a 2ª e 3ª habilidades mais procuradas em todas as vagas nesse mesmo período.
Infelizmente os dados do LinkedIn só são disponíveis com pagamento, mas fazendo uma pesquisa superficial no google, conseguimos encontrar que aproximadamente 1% dos perfis da plataforma (aproximadamente 9 milhões) são de pessoas Engenheiras de Dados. Também conseguimos confirmar que as habilidades mais procuradas são definitivamente SQL e Python.
Concluindo
No fim, a definição de Engenharia de dados acaba sendo feita por cada empresa, de forma que as responsabilidades, atribuições e habilidades vão sempre variar bastante. Mas, de forma geral, os fundamentos costumam ser os mesmos. O próximo post será o planejamento do roadmap de engenharia de dados, destrinchando todos os tópicos que pretendo abordar. Inicialmente o roadmap deve ter tópicos iniciantes e intermediários, mas todos os assuntos serão aprofundados da melhor forma possível. Meu objetivo é não só listar ferramentas e dar exemplos de utilização, mas construir uma boa base de conhecimento teórico e prático com todos os assuntos.
