Fix yamlfix and create_yaml_file

[aspeddro]

Esse PR tem quatro mudanças:

• Adiciona um script que a Laura tinha feito para subir as colunas para Django
• Mudança em create_yaml_file.py
  • Aumenta a indentação e setando yaml_obj.explicit_start = True
  • O motivo é que ao executar create_yaml_file.py ele altera o formato do dbt_project.yml
• Remove gists/requirements-gists.txt. Utilizamos o poetry como gerenciador de pacotes, então esse arquivo não é mais necessário.
  • As dependências agora estão em pyproject.yml
• A verificação do yamlfix não está correta. Ele estava formatando os arquivos quando deveria fazer uma verificação, i.e, --check flag.

[laura-l-amaral]

• Pq a verificação do yamlfix deveria ser um check e não uma correção? Me parece mais prático que ele já falça a correção direta
• Outra questão é que esse código que vc adicionou já está no repo de pipelines

[laura-l-amaral]

@aspeddro esse código está atualizado no repo de pipelines https://github.com/basedosdados/pipelines/blob/main/scripts/upload_columns.py

[aspeddro]

ops, não tinha visto. Não é melhor deixar ele nesse repositório? Já tem vários scripts em gists/

[laura-l-amaral]

então, a questão é que o script usa algumas funções que estão no repositório de pipelines, por isso deixei por lá. Vc ve alguma maneira de solucionar isso pra deixar o script nesse repo?

[aspeddro]

Vi o script e tem duas funções lá que já estão aqui:

• read_architecture_table, já tem aqui
• get_headers, também já tá aqui

[laura-l-amaral]

hmm acho que o get headers só funciona se tiver o .env que está no repo de pipelines ativado, isso nao seria um problema?

[laura-l-amaral]

Onde está a função de get_headers?

[aspeddro]

Engano meu. Em pipelines é get_headers, aqui é get_token

[aspeddro]

Só nome diferente

[aspeddro]

Aqui a pessoa vai rodar o script python gists/upload_columns_django.py e ele vai pedi o password no prompt

[aspeddro]

hmm acho que o get headers só funciona se tiver o .env que está no repo de pipelines ativado, isso nao seria um problema?

Em pipelines sim, mas aqui ele vai pedi o password do django da pessoa

[aspeddro]

Pq a verificação do yamlfix deveria ser um check e não uma correção?

Pq a correção é feita pelo pre-commit. Todas vez que você faz uma alteração e faz um commit o pre-commit é executado localmente, só que é possível fazer um commit sem executar o pre-commit, usando a flag -n

-n, --[no-]verify
           By default, the pre-commit and commit-msg hooks are run. When any of --no-verify or -n is given, these are bypassed. See also githooks(5)

Então para não mesclar arquivos não formatados, fazermos um verificação no GitHub Action. Isso é feito com arquivos .sql

queries-basedosdados-dev/.github/workflows/ci-dbt.yaml

Lines 22 to 23 in a4e2c96

	- name: Lint sql
	run: poetry run sqlfmt --diff .

Ele verifica se o sql foi formatado. Para o yamlfix ele formata os arquivos na action, aqui um exemplo. Se fosse uma verificação não teria passado. Indicando para pessoa que ela deve formatar o arquivo.

[laura-l-amaral]

Pq a verificação do yamlfix deveria ser um check e não uma correção?

Pq a correção é feita pelo pre-commit. Todas vez que você faz uma alteração e faz um commit o pre-commit é executado localmente, só que é possível fazer um commit sem executar o pre-commit, usando a flag -n

-n, --[no-]verify
           By default, the pre-commit and commit-msg hooks are run. When any of --no-verify or -n is given, these are bypassed. See also githooks(5)

Então para não mesclar arquivos não formatados, fazermos um verificação no GitHub Action. Isso é feito com arquivos .sql

queries-basedosdados-dev/.github/workflows/ci-dbt.yaml

Lines 22 to 23 in a4e2c96

	- name: Lint sql
	run: poetry run sqlfmt --diff .

Ele verifica se o sql foi formatado. Para o yamlfix ele formata os arquivos na action, aqui um exemplo. Se fosse uma verificação não teria passado. Indicando para pessoa que ela deve formatar o arquivo.

acho que saquei, só mais uma dúvida, como que ele formata os arquivos na action e o código continua fora do padrão?

[aspeddro]

Pq ao formatar a gente não adicionou mais passos depois disso.

A última linha é essa:

queries-basedosdados-dev/.github/workflows/ci-dbt.yaml

Line 25 in a4e2c96

run: poetry run yamlfix --exclude ".kubernetes/**/*" .

Depois de formatar podemos commitar os arquivos alterados na action e enviar para algum lugar, em geral no próprio PR, mas isso não foi feito (concordo). Funciona como um repo git padrão.