Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[dbt]br_tse_eleicoes - atualizar segundo turno #818

Merged
merged 3 commits into from
Nov 22, 2024

Conversation

Winzen
Copy link
Collaborator

@Winzen Winzen commented Nov 12, 2024

br_tse_eleicoes - atualizar segundo turno

  • [Dbt]: Para subida de novos dados em produção.

Descrição do PR:

O merge desse PR só deve ocorrer a pós o PR #832 ser concluído

br_tse_eleicoes.candidatos

Diferenças dos dados atuais com em produção:

  • Temos 573 canditados a mais em produção.

querys:

Total de sequenciais unicas de candidatos

with tabela as (SELECT
count(*) as prod,
(SELECT count(*) FROM `basedosdados-dev.br_tse_eleicoes.candidatos` where ano=2024) as dev,
FROM `basedosdados.br_tse_eleicoes.candidatos`
where ano=2024 and id_eleicao='619')

select
prod,
dev,
prod - dev as diff
from tabela

Mostrar candidatos que não estão em dados em dev

SELECT
*
FROM `basedosdados.br_tse_eleicoes.candidatos`
where ano=2024 and sequencial not in (SELECT sequencial FROM `basedosdados-dev.br_tse_eleicoes.candidatos` where ano=2024)

testes:

custom_not_null_proportion_multiple_columns

Colunas:

  • email
  • raca

Tem menos de 80% de preenchimento.

Observação

Alguns anos tem mais de um candidato com o mesmo sequencial e cpf, id_eleicao, ano poderiam ser o sufiente para combinação unica por todos os anos

br_tse_eleicoes.receitas_candidato

Diferenças dos dados atuais com em produção:

  • Temos 556.274 linhas novas em dev no ano de 2024.

custom_not_null_proportion_multiple_columns

Colunas:

  • descricao_cnae_2_doador_orig
  • nome_doador_orig_rf
  • nome_doador_orig
  • cpf_cnpj_doador_orig
  • tipo_doador_orig
  • entrega_conjunto'

Tem menos de 95% de preenchimento.

Macros

colunas data_receita foi utilizado o macro validate_date_range para limitar intervalo de datas entre "1900-01-01" e "2100-01-01". Existiam datas com valores absurdos que não existiram dentro do diretorio br_bd_diretorios_data_tempo__data

br_tse_eleicoes.despesas_candidato

Diferenças dos dados atuais com em produção:

  • Temos 1.728.327 linhas novas em dev no ano de 2024.

custom_not_null_proportion_multiple_columns

Colunas:

  • esfera_partidaria_fornecedor
  • sequencial_candidato_fornecedor
  • cargo_fornecedor
  • numero_candidato_fornecedor
  • sigla_partido_fornecedor
  • numero_partido_fornecedor
  • sigla_uf_fornecedor'

Tem menos de 95% de preenchimento.

br_tse_eleicoes.resultados_candidato

dbt_utils.unique_combination_of_columns

Existe anos com colunas cruciais para fazer a combinação unica de colunas que estão totalmente em nulos. São 1111 casos
query:

with validation_errors as (

    select
        ano, turno, id_eleicao, sigla_uf, id_municipio_tse, cargo, sequencial_candidato, numero_candidato,titulo_eleitoral_candidato
    from `basedosdados-dev`.`br_tse_eleicoes`.`resultados_candidato`
    group by ano, turno, id_eleicao, sigla_uf, id_municipio_tse, cargo, sequencial_candidato, numero_candidato, titulo_eleitoral_candidato
    having count(*) > 1

)

select *
from validation_errors

@Winzen Winzen added table-approve Trigger action table-approve test-dev-model Trigger action test-dev-model labels Nov 12, 2024
@Winzen Winzen requested a review from a team November 12, 2024 13:00
@Winzen Winzen self-assigned this Nov 12, 2024
@Winzen Winzen force-pushed the staging/br_tse_eleicoes-2-turnos branch from aa0d629 to 7a522ab Compare November 12, 2024 13:03
@Winzen Winzen force-pushed the staging/br_tse_eleicoes-2-turnos branch from 7a522ab to ef0333a Compare November 21, 2024 09:06
@Winzen Winzen force-pushed the staging/br_tse_eleicoes-2-turnos branch from 49f5700 to 6a3b1db Compare November 22, 2024 16:30
@Winzen Winzen marked this pull request as ready for review November 22, 2024 16:31
@Winzen Winzen merged commit a8e94ab into main Nov 22, 2024
3 checks passed
@Winzen Winzen deleted the staging/br_tse_eleicoes-2-turnos branch November 22, 2024 16:36
@laura-l-amaral laura-l-amaral linked an issue Nov 26, 2024 that may be closed by this pull request
2 tasks
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
table-approve Trigger action table-approve test-dev-model Trigger action test-dev-model
Projects
None yet
Development

Successfully merging this pull request may close these issues.

br_tse_eleicoes
2 participants