Portfólio de Engenharia de Dados

Bem-vindo ao meu portfólio de engenharia de dados! Aqui você encontrará vários projetos que mostram minhas habilidades e conhecimentos em engenharia de dados. Cada projeto abrange diferentes aspectos, como ingestão de dados, transformação, automação de pipeline e visualização de dados.

Projetos

1. Ingestão de dados

• Projeto: Ingestão de dados usando Python e Pandas
• Habilidades: ingestão de Python, Pandas, API, CSV/JSON
• Descrição: este projeto demonstra a ingestão de dados de várias fontes, como APIs, arquivos CSV e bancos de dados.

2. Transformação de dados

• Projeto: ETL com PySpark
• Habilidades: PySpark, SQL, Limpeza de Dados, Gerenciamento de Esquema
• Descrição: Este projeto se concentra na limpeza e transformação de dados brutos usando o PySpark em um ambiente distribuído.

3. Modelagem de dados

• Projeto: Modelagem de Dados Relacionais
• Habilidades: SQL, Design de Banco de Dados, Normalização
• Descrição: Criação de modelos de banco de dados eficientes usando técnicas de normalização e projetando bancos de dados relacionais.

4. Automação de Dutos

• Projeto: Pipeline de dados com Apache Airflow
• Habilidades: Fluxo de ar, agendamento de tarefas, orquestração de dados
• Descrição: Automatizando fluxos de trabalho de dados usando o Apache Airflow para orquestrar processos de ETL.

5. Visualização de dados

• Projeto: Visualização com Power BI
• Habilidades: Power BI, design de dashboards, relatórios
• Descrição: Criação de dashboards para visualizar insights de dados, com foco em KPIs e métricas de negócios.