Roadmap de Engenharia de Dados para 2025

Tenho 2 objetivos com esse roadmap: primeiro, é uma lista muito completa dos assuntos que acredito que te fariam ser fora da curva na área de Engenharia de Dados. Segundo, é a lista dos assuntos que pretendo cumprir no blog.

Em alguns tópicos já deixei quais serão os posts, mas isso pode mudar. A ordem também não é certa, visto que muito do que está aqui não é sequencial.

Já tenho material revisado para um mês de publicação, começando com o post de História e evolução da Engenharia de Dados, para o dia 01 de Agosto de 2025. Sinto que em tempos de conteúdo e código escritos por IA, minha forma de resistir é fazer essas publicações. Tentar construir conteúdo de qualidade, com muita curadoria e pesquisa, e que traz o que eu pessoalmente acho interessante -contexto, história - para contribuir com a parte técnica.

Introdução e Contexto Histórico

• Evolução dos bancos de dados: do modelo relacional, ACID, às origens dos bancos NoSQL.

• Surgimento do Big Data: Hadoop, MapReduce e a evolução para frameworks distribuídos como Spark e Flink.

• Transição do armazenamento on-premise para a era da nuvem.

• Impactos da Engenharia de Software

Posts Relacionados:

• Introdução à Engenharia de Dados

• História e evolução da Engenharia de Dados

---

Nível 101 – Iniciante

1. Fundamentos de Bancos de Dados

1.1 Conceitos Teóricos

• Modelos de Bancos de Dados:

  • Relacional: Estrutura tabular, integridade referencial.

  • Não Relacional: Documentos, key-value, grafos, colunar, in-memory, timeseries.

  • OLTP: Foco em operações transacionais com alta frequência.

  • OLAP: Ambientes otimizados para análises multi dimensionais e consultas complexas.

• Transações:

  • Conceitos de atomicidade, consistência, isolamento e durabilidade (ACID).

  • Exemplos práticos de rollback, commit e gerenciamento de concorrência.

• Casos de Uso e Quando Utilizar Cada Tipo:

  • Bancos relacionais para transações críticas e integridade dos dados.

  • Bancos não relacionais para escalabilidade, flexibilidade de esquemas e alta performance.

1.2 Exemplos Práticos

• Bancos Relacionais:

  • Criação de esquemas, tabelas, índices e realização de transações (ex.: PostgreSQL).

• Bancos NoSQL:

  • Implementação de operações CRUD em MongoDB ou Redis, com exemplos de indexação e consultas.

Posts Relacionados:

• Engenharia de dados 101 – Fundamentos de bancos de dados

---

2. Pipelines de Dados

2.1 Conceitos Teóricos

• ETL:

  • Extração, transformação e carregamento: processos, vantagens e desafios.

• ELT:

  • Extração, carregamento e, posteriormente, transformação: quando utilizar e vantagens.

• Comparação ETL x ELT:

  • Critérios para escolha, impacto em performance, custo e arquitetura.

• Processamento de Dados:

  • Batch: Processamento em blocos com execução agendada.

  • Streaming: Processamento em tempo real, com tolerância à latência.

  • Arquiteturas Híbridas: Combinação de batch e streaming para cenários específicos.

• Introdução a modelagem de dados:

  • Incremental Load: Carregamento de dados apenas quando há mudanças.

  • Row Versioning: Manutenção de versões das linhas para auditoria e concorrência.

2.2 Exemplos Práticos

• Implementação de ETL:

  • Script em Python para extrair, transformar e carregar dados.

• Implementação de ELT:

  • Carregamento de dados brutos em um data warehouse e transformações via SQL.

• Processamento Batch x Streaming:

  • Demonstração com Apache Spark (modos batch e streaming) e exemplos de arquiteturas híbridas.

Posts Relacionados:

• Engenharia de dados 101 – Fundamentos de Pipelines de dados

---

3. Fundamentos de Arquitetura de Dados

3.1 Conceitos Teóricos

• Data Warehouse:

  • Conceitos, arquitetura e casos de uso.

• Data Lake:

  • Armazenamento de dados brutos, escalabilidade e flexibilidade.

• Data Mart:

  • Subconjuntos de dados específicos para áreas de negócio.

• Arquiteturas Híbridas:

  • Integração de múltiplos conceitos para atender cenários complexos.

3.2 Exemplos Práticos

• Implementação de um Data Warehouse:

  • Projeto básico utilizando ferramentas open-source.

• Construção de um Data Lake:

  • Demonstração de ingestão e organização de dados brutos. Posts Relacionados:

• Engenharia de dados 101 – Fundamentos de arquitetura de dados

---

4. Desenvolvimento e Ferramentas Essenciais

4.1 Linguagem de Programação

• Tipos de Dados e Estruturas Básicas:

  • Tipos de Dados: Trabalhar com strings, números, booleanos, etc.

  • Estruturas Básicas: Listas, tuplas, dicionários e conjuntos.

• Programação Orientada a Objetos:

  • Conceitos de classes e objetos.

  • Implementação de métodos padrão (ex.: __add__, __get__, etc).

• Estruturas de Dados Avançadas:

  • Árvores, grafos, heaps, e outros conceitos fundamentais da ciência da computação que auxiliam na criação de algoritmos eficientes.

• Gerenciamento de Pacotes e Organização de Projetos:

  • Ferramentas para gerenciamento de pacotes: pip, Poetry, uv, etc.

  • Construção e disponibilização de bibliotecas, organização de projetos e uso de ambientes virtuais.

• Manipulação de Arquivos:

  • Leitura e escrita em diferentes formatos: CSV, JSON, YAML, TOML.

• Testes e Qualidade de Código:

  • Boas práticas de testes unitários e integração para garantir a robustez do código.

• Conceitos e Técnicas Modernas:

  • Uso de context managers, dataclasses e decorators.

  • Programação assíncrona com async/await.

---

4.2 SQL

• Definição e Manipulação de Dados (DDL & DML):

  • Comandos básicos: CREATE, REPLACE, UPDATE, INSERT, DELETE.

• Consulta de Dados (DQL):

  • Utilização de operadores condicionais e lógicos.

  • Ordenação, definição de limites (LIMIT, OFFSET) e união de resultados.

  • Junções (JOINs) para combinar dados de múltiplas tabelas.

  • Funções de agregação, como COUNT, SUM, AVG, entre outras.

  • Tratamento de texto com funções como LOWER, UPPER, CONCAT e expressões regulares.

  • Funções de manipulação de datas e timestamps.

  • Uso de subconsultas e Common Table Expressions (CTEs).

---

4.3 APIs

• Conceitos Fundamentais:

  • Princípios de APIs REST: métodos HTTP (GET, POST, PUT, DELETE), códigos de status e autenticação.

• Boas Práticas e Estratégias:

  • Implementação de estratégias de tratamento de falhas e retry.

  • Gerenciamento de requisições paginadas.

• Desenvolvimento de APIs:

  • Princípios e práticas para a construção de uma API própria, desde o design até a implementação.

---

Posts Relacionados:

• Engenharia de dados 101 – Fundamentos de Python

• Python aplicado à Engenharia de Dados

• Engenharia de dados 101 – Fundamentos de SQL

• Engenharia de dados 101 – Criando e consumindo API’s

---

Essa estrutura detalhada garante que cada aspecto essencial da programação, SQL e APIs seja abordado de forma clara e completa, facilitando a compreensão e aplicação dos conceitos na prática.

---

Nível 201 – Intermediário / Preparando-se para o Mercado

1. Arquitetura de Dados Avançada

1.1 Conceitos Teóricos

• Listagem e Definição de Arquiteturas:

  • Revisão avançada de Data Warehouse, Data Lake e Data Mart.

  • Data Mesh e Data Lakehouse: Conceitos emergentes e seus impactos.

• Arquiteturas Lambda, Kappa e Medallion:

  • Princípios, benefícios, desafios e comparação teórica.

• Tópico de Comparação Teórica:

  • Critérios, casos de uso e trade-offs entre as arquiteturas.

1.2 Exemplos Práticos

• Implementação Prática:

  • Projetos demonstrando uma arquitetura Medallion com ferramentas de transformação e ingestão de dados.

  • Orquestração de pipelines em arquiteturas Lambda ou Kappa.

Posts Relacionados:

• Engenharia de dados 201 – Arquitetura de dados

---

2. Modelagem de Dados

2.1 Conceitos Teóricos

• Conceitos Fundamentais:

  • Indexação: Técnicas para acelerar consultas.

  • Normalização e Desnormalização: Teoria, vantagens e desvantagens.

  • Slowly Changing Dimensions (SCD): Gerenciamento de alterações em dados dimensionais.

  • Change Data Capture (CDC): Captura das alterações ocorridas em sistemas operacionais.

• Formatos de Modelagem:

  • Modelagem Relacional: Estrutura e integridade.

  • Modelagem Dimensional: (Star schema, Snowflake) para BI e análises.

  • One Big Table: Quando e como utilizar.

  • Outras Abordagens: Data Vault, modelagem em grafos, etc.

2.2 Exemplos Práticos

• Exercícios Práticos:

  • Criação de modelos de dados para cenários variados.

  • Otimização de consultas e demonstrações de normalização/desnormalização.

Posts Relacionados:

• Engenharia de dados 201 – Modelagem de dados

---

3. Transformação de Dados e Apache Spark

3.1 Conceitos Teóricos

• Frameworks de Transformação:

  • Foco em Apache Spark: Conceitos de RDD, DataFrame, Spark SQL e streaming com Spark.

  • Menção breve a outros frameworks (Apache Beam, Hadoop) e comparação conceitual.

• dbt e Outras Ferramentas:

  • Teoria sobre dbt (Data Build Tool) e outras alternativas para transformação de dados.

3.2 Exemplos Práticos

• Projeto Spark:

  • Post exclusivo ensinando a configurar, desenvolver e executar um job de transformação com Spark – do consumo à escrita em um data warehouse.

• Implementação com dbt:

  • Exemplo prático de transformação utilizando dbt.

Posts Relacionados:

• Engenharia de dados 201 – Frameworks de transformação de dados

• Engenharia de dados 201 – Fundamentos de PySpark

---

4. SQL Avançado

4.1 Conceitos Teóricos

• Tópicos Avançados:

  • Funções de janela, técnicas de otimização, análise de planos de execução e tuning de performance.

• Casos de Uso:

  • Exemplos de como extrair insights complexos de grandes volumes de dados usando SQL avançado.

• Desafios SQL:

  • Exercícios práticos para resolver problemas de performance e implementar consultas complexas.

Posts Relacionados:

• Engenharia de dados 201 – SQL Avançado

• Engenharia de dados 201 - Otimização de consultas SQL

---

5. Fundamentos de Cloud Computing e DataOps

5.1 Cloud Computing

• Conceitos de Infraestrutura:

  • Noções de redes, infraestrutura, sistemas operacionais, firewall, dns, e comparação entre soluções cloud (AWS, Azure, GCP) e ambientes on-premise.

  • Serverless x Gerenciado

• Serverless e Cloud Native:

  • Containers, Kubernetes e CNCF

  • Abordagem de funções serverless e arquiteturas orientadas a eventos.

5.2 DataOps

• Integração de Práticas DevOps em Dados:

  • Testes de código e de dados, versionamento e orquestração contínua (CI/CD).

• Alertas, Monitoramento e Alta Disponibilidade:

  • Estratégias para configurar alertas, dashboards, logs e tracing (usando Open Metrics, Open Telemetry) para garantir resiliência e disponibilidade.

Posts Relacionados:

• Engenharia de dados 201 – Fundamentos de Cloud Computing

• Engenharia de dados 201 – Fundamentos de DataOps

---

6. Orquestradores de Dados

talvez mencionar aqui em orquestração sobre ferramentas de extração (airbyte, fivetran, etc)

6.1 Conceitos Teóricos

• Comparativo de Soluções:

  • Análise das principais ferramentas: Airflow, Dagster, Prefect, Mage

  • Introdução a orquestradores mais gerais, como o n8n.

  • Ferramentas dentro de provedores (gcp workflows, azure data factory, aws step functions, databricks jobs, snowflake data pipelines, etc)

• Apache Airflow:

  • Funcionamento, principais conceitos (DAGs, Operators, Hooks) e casos de uso.

  • Criação de pipelines com Airflow, integração com APIs e bancos de dados.

  • Airflow moderno: taskflow api, agendamento por datasets, agendamentos complexos com timetables

Posts Relacionados:

• Engenharia de dados 201 – Orquestradores de Dados

• Engenharia de dados 201 – Fundamentos de Apache Airflow

• Tudo que você precisa saber sobre Apache Airflow

---

7. No Code e Low Code em Engenharia de Dados

7.1 Conceitos Teóricos

• Ferramentas No Code/Low Code:

  • Introdução ao Apache Hop e outras plataformas como KNIME, Alteryx, Google DataPrep, Talend Data Preparation.

• Vantagens e Desafios:

  • Quando e por que utilizar abordagens no code/low code na engenharia de dados.

• Demonstração de um Projeto No Code:

  • Configuração e execução de um pipeline utilizando uma dessas ferramentas, enfatizando facilidade de integração e visualização.

Posts Relacionados:

• Engenharia de dados 201 – No Code/Low Code em Engenharia de Dados

---

8. Soft Skills e Gestão de Projetos

8.1 Conceitos Teóricos

• Comunicação e Documentação:

  • Técnicas de storytelling com dados, documentação eficaz e visualização para stakeholders.

• Gestão Ágil de Projetos:

  • Metodologias ágeis e frameworks de gerenciamento aplicados a projetos de dados.

• Colaboração e Liderança:

  • Desenvolvimento de habilidades interpessoais e liderança em equipes multidisciplinares.

Posts Relacionados:

• Engenharia de dados 201 – Soft Skills e Gestão de Projetos

---

9. Conceitos Avançados em Analytics Engineering

9.1 Conceitos Teóricos

• Transformação para Analytics:

  • Uso de ferramentas como dbt para criar modelos analíticos robustos, camadas semânticas e data marts focados em BI.

• Integração com BI e Data Visualization:

  • Estratégias para conectar pipelines a ferramentas de visualização (Looker, Tableau, Power BI) e modelagem de dados para análises avançadas.

• Projeto de Analytics Engineering:

  • Criação de um pipeline completo que vai da ingestão de dados à construção de dashboards interativos e insights de negócios.

Posts Relacionados:

• Engenharia de dados 201 – Fundamentos de Analytics Engineering

---

Nível 301 – Avançado e Tendências

1. Processamento de Dados em Streaming e Arquiteturas em Tempo Real

1.1 Conceitos Teóricos

• Processamento Streaming:

  • Comparativo entre Spark Streaming, Apache Flink, Kafka Streams e outros.

• Arquiteturas em Tempo Real:

  • Processamento de eventos e aplicações críticas em tempo real.

1.2 Exemplos Práticos

• Pipeline de Streaming:

  • Desenvolvimento de um pipeline integrado com Kafka ou ferramentas similares.

Posts Relacionados:

• Engenharia de dados 301 – Processamento de dados em streaming

---

2. Observabilidade, Monitoramento e Documentação de Dados

2.1 Conceitos Teóricos

• Observabilidade e Monitoramento:

  • Estratégias de logging, métricas, tracing e alertas usando ferramentas como Grafana e Kibana.

• Documentação de Dados e Governança:

  • Boas práticas para rastreamento de lineage, catalogação (Data Catalogs) e manutenção da documentação contínua.

2.2 Exemplos Práticos

• Dashboards e Automação:

  • Configuração de dashboards e criação de processos automatizados de documentação.

Posts Relacionados:

• Engenharia de dados 301 – Observabilidade

• (Novo) Engenharia de dados 301 – Documentação e Governança de Dados

---

3. Data Quality e Governança

3.1 Conceitos Teóricos

• Qualidade dos Dados:

  • Testes unitários e de dados, validação, auditoria e políticas de compliance (LGPD, GDPR).

• Criptografia, mascaramento, controle de acesso, compliance e Data Anonymization (técnicas de anonimização para proteger dados sensíveis).

3.2 Exemplos Práticos

• Processos Automatizados:

  • Implementação de pipelines de validação e monitoramento da qualidade dos dados.

Posts Relacionados:

• Engenharia de dados 301 – Data Quality

---

4. Engenharia de Software Aplicada à Engenharia de Dados

4.1 Conceitos Teóricos

• Sistemas Distribuídos e Concorrência:

  • Fundamentos, desafios e padrões de design para sistemas escaláveis.

• Integração com Microserviços:

  • Arquiteturas orientadas a eventos e mensageria.

• Containerização e Orquestração:

  • Uso de Docker, Kubernetes e práticas de CI/CD para ambientes de dados.

4.2 Exemplos Práticos

• Projeto Integrado:

  • Construção de um sistema distribuído que integra ingestão, processamento (batch/stream) e orquestração com containerização.

Posts Relacionados:

• Engenharia de dados 301 – Sistemas distribuídos e concorrência

• Engenharia de dados 301 – Engenharia de Software para Dados

---

5. Mensageria e Integração em Tempo Real

5.1 Conceitos Teóricos

• Sistemas de Mensageria:

  • Comparativo entre Kafka, Google PubSub, AWS SQS, RabbitMQ e outros.

• Arquiteturas para Integração:

  • Ingestão e processamento de dados em tempo real.

5.2 Exemplos Práticos

• Implementação Prática:

  • Configuração de um sistema de mensageria para ingestão e processamento de eventos.

Posts Relacionados:

• Engenharia de dados 301 –Fundamentos de mensageria de dados

---

6. MLOps

6.1 Conceitos Teóricos

• Integração de Dados e Machine Learning:

  • Estruturação de pipelines que conectem o processamento de dados com fluxos de ML.

• Ferramentas e Práticas:

  • Uso de MLflow, Kubeflow, BentoML e outras ferramentas para experimentação, versionamento e implantação de modelos.

6.2 Exemplos Práticos

• Projeto de MLOps:

  • Criação de um pipeline demonstrando a transição do desenvolvimento até a produção de modelos, com monitoramento de performance e qualidade.

Posts Relacionados:

• Engenharia de dados 301 – Fundamentos de MLOps

---

Módulo de Carreira e Desenvolvimento Profissional

1. Certificações

• Principais Certificações:

  • Google Cloud Professional Data Engineer

  • AWS Certified Data Analytics – Specialty

  • Azure Data Engineer Associate

  • Databricks Certified Data Engineer

  • AWS Certified Data Engineer

• Dicas para Certificação:

  • Materiais de estudo, simulados e estratégias de preparação.

2. Preparação para Entrevistas

• Técnicas e Estratégias:

  • Perguntas comuns em entrevistas técnicas e comportamentais para engenheiros de dados.

• Exercícios Práticos:

  • Resolução de desafios práticos e dicas para apresentação de projetos e experiências.

• Recursos Complementares:

  • Guias, cursos online e comunidades para troca de experiências.

---

Sugestões de Livros e Referências Essenciais

• Designing Data-Intensive Applications – Martin Kleppmann

• Streaming Systems – Tyler Akidau, Slava Chernyak e Reuven Lax

• The Data Warehouse Toolkit – Ralph Kimball

• Data Pipelines Pocket Reference – James Densmore

• Artigos, white papers e documentações oficiais das principais ferramentas (Airflow, Spark, Kubernetes, etc.).

Conclusões

Como atualização rápida, posso dizer que nos últimos meses acabei trabalhando e pesquisando muito sobre ML, modernizei a maior parte da infraestrutura das nossas aplicações. Coloquei algumas coisas pra rodar no meu homelab, que agora tem 2 nós. Fiz alguns projetos internacionais.

E ta ficando cada vez mais difícil me encaixar num rótulo de cargo: Data Engineer, MLOps Engineer, SRE, desenvolvedor, arquiteto. E pra mim isso é ótimo, porque toda essa variedade me ajuda a manter motivado. Comecei a me envolver em discussões e contribuições de alguns projetos open source do meu dia a dia: Airflow, Airbyte, Open Data Discovery, dbt. To fazendo o AirSQL, que é basicamente pra facilitar a minha própria vida com airflow mas acho que pode ser bem útil por aí.

E no próximo semestre eu vou estar até trabalhando como “pesquisador” de ML, na área de visão computacional, que é um dos produtos que a gente ta querendo dar escala. Ganhamos um desafio de aceleração do Google, e além de um orçamento bizarro de créditos de cloud, vamos conseguir mentorias e até usar o espaço Google For Startups aqui em SP.