Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Tornar o Parsers mais resiliente #8

Open
nitaibezerra opened this issue Dec 8, 2021 · 1 comment
Open

Tornar o Parsers mais resiliente #8

nitaibezerra opened this issue Dec 8, 2021 · 1 comment
Labels
airflow Related to the way Ro-DOU uses Airflow enhancement New feature or request search-config Related to the configuration of a Ro-DOU search

Comments

@nitaibezerra
Copy link
Contributor

Problema:

  • Ao utilizar o parâmetro from_airflow_variable no YAML, que por sua vez recupera dinamicamente a lista de termos da variável do Airflow, e caso a variável não exista, a geração dinâmica da DAG falha e interrompe o processo de parsing.

Solução:

  • Modificar a arquitetura da DAG gerada para que a recuperação do conteúdo da Variável Airflow aconteça em tempo de execução da DAG (estratégia lazy) e não em tempo de compilação (parsing). A solução é similar para as DAGs geradas com o uso do parâmetro from_db_select, que quando utilizado produz a seguinte DAG contendo a task select_terms_from_db, como no diagrama abaixo:
    image

Com essa solução, caso a variável não exista, o erro acontecerá na execução da DAG e estará visível no log.

@augusto-herrmann augusto-herrmann added enhancement New feature or request search-config Related to the configuration of a Ro-DOU search airflow Related to the way Ro-DOU uses Airflow labels Oct 23, 2024
@augusto-herrmann
Copy link
Member

Verificar se a preocupação que motivou a criação desta issue ainda persiste após a implementação da issue #73 (migração para Pydantic). Caso não faça mais sentido, fechar esta issue.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
airflow Related to the way Ro-DOU uses Airflow enhancement New feature or request search-config Related to the configuration of a Ro-DOU search
Projects
None yet
Development

No branches or pull requests

2 participants