Este repositório foi desenvolvido como um compilado de todas as skills e conteúdos que julguei interessantes de serem consumidas para aprimorar meu conhecimento em engenharia de dados. Todo conteúdo que está aqui foi formado de acordo com minha vivência nessa área, pode ser acrescentado da visão de outras pessoas que queiram colaborar. Com esse conteúdo viso me organizar, me desafiar e ajudar outras pessoas também. Sugestões são muito bem vindas! |
- Links e Dicas Úteis
- Skills
- Artigos para ler
- Livros para ler
- Cursos para fazer
- Contribuição
- Meu Resultado
Primeiro de tudo é importante se entender o que um engenheiro de dados faz, onde ele se encaixa no mercado e quais necessidades ele supre. Portanto eu recomendo os seguintes conteúdos antes de qualquer interação com o restante:
O que é um engenheiro de dados
Pode-se usar a guia anônima para ler os artigos que pedem premium no medium (quando o link acima não funcionar). Infelizmente não existem tantos conteúdos em português sobre isso ainda, portanto é possível utilizar o chrome e a ferramenta de tradução do google para ler os artigos caso você não entenda inglês. Para os vídeos pode-se usar a ferramenta de legendas geradas.
É importante tentar criar projetinhos para aplicar o que você está estudando, pois acredite: existe um abismo entre a teoria e a prática, principalmente se tratando de dados :) Aproveite para exercitar sua capacidade de lidar com vários cenários de erro e criar ações para contorná-los.
O básico para uso geral:
Habilidades mais específicas:
| Grupo | Skills | Links |
|---|---|---|
| Conceitos | OLTP e OLAP Business Inteligence Data Modeling Data Warehouse Data Lake Data Mesh ETL e ELT |
OLTP e OLAP Business Inteligence Data Modeling Data Warehouse Data Lake Data Mesh ETL e ELT |
| Linguagens de Programação | Python R Scala |
Python R Scala |
| Banco de Dados | RDBMS NoSQL Databases |
RDBMS RDBMS - Postgres RDBMS - MySQL NoSQL Databases NoSQL Datbases - MongoDB NoSQL Databases - Hadoop |
| Pipelines/ELT/ETL | Orquestradores Processamento de dados |
Orquestrador - Airflow Orquestrador - Prefect Processamento: Batch vs Stream Processamento Bacth - Exemplo Processamento Stream - Exemplo |
| Cloud | AWS Azure GCP |
AWS - Fundamentos AWS - S3 AWS - RDS AWS - Athena AWS - ECR/ECS AWS - Lambda AWS - StepFunction AWS - IAM AWS - EC2 AWS - EMR |
- 🔥 A Beginner’s Guide to Data Engineering — Part I
- 🔥 Data Engineering 101: From Batch Processing to Streaming
- 🔥 Implementing a Data Lake or Data Warehouse Architecture for Business Intelligence?
- 🔥 DataOps is NOT Just DevOps for Data
- 🔥 Data Warehousing: Basics of Relational Vs Star Schema Data Modeling
- 🔥 Spark 101: Introdução ao framework de processamento de dados distribuídos
- The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling
- Como Mentir com Estatística
- Data Architecture: A Primer for the Data Scientist: Big Data, Data Warehouse and Data Vault
Alguns dos cursos que avaliei como benéficos para gastar meu $$$
- Formação Engenheiro de Dados: Domine Big Data!
- Big Data - Processamento de dados com Spark e PySpark
- GCP: Complete Google Data Engineer and Cloud Architect Guide
- HashiCorp Certified: Terraform Associate 2020
- Pull Request
- Discussões em Issues
- Divulgação
- Demais
Eventualmente, conforme eu for aprendendo e aplicando tudo que reuni aqui pretendo listar todos os repositórios e conteúdo que eu gerar a partir disso.