Merge branch 'master' into update-config-smtr

.github/workflows/cd.yaml

@@ -22,6 +22,25 @@ jobs:
       - name: Checkout
         uses: actions/checkout@v2
 
+      - name: Set up Python
+        uses: actions/setup-python@v2
+        with:
+          python-version: 3.x
+
+      - name: Create credentials directory
+        run: mkdir -p credentials
+
+      - name: Mount credentials
+        env:
+          DBT_CREDENTIALS_DEV: ${{ secrets.DBT_CREDENTIALS_DEV }}
+        run: echo "$DBT_CREDENTIALS_DEV" > credentials/dev.json
+
+      - name: Install dbt
+        run:  pip install dbt-core dbt-bigquery
+
+      - name: Compile dbt models
+        run: dbt compile --profiles-dir . --profile default --target compile
+
       - name: Setup Google Cloud CLI
         uses: google-github-actions/[email protected]
         with:

.github/workflows/dbt-compile.yaml

@@ -0,0 +1,31 @@
+name: DBT Compile
+
+on: [pull_request, push]
+
+jobs:
+  dbt-compile:
+    name: DBT Compile
+    runs-on: ubuntu-latest
+    steps:
+    - name: Checkout code
+      uses: actions/checkout@v2
+
+    - name: Set up Python
+      uses: actions/setup-python@v2
+      with:
+        python-version: 3.x
+
+    - name: Create credentials directory
+      run: mkdir -p credentials
+
+    - name: Mount credentials
+      env:
+        DBT_CREDENTIALS_DEV: ${{ secrets.DBT_CREDENTIALS_DEV }}
+      run: echo "$DBT_CREDENTIALS_DEV" > credentials/dev.json
+
+    - name: Install dbt
+      run:  pip install dbt-core dbt-bigquery
+
+    - name: Compile dbt models
+      run: dbt compile --profiles-dir . --profile default --target compile
+

.gitignore

@@ -5,4 +5,6 @@ logs/
 .vscode/
 .env
 .user.yml
-dev/
+dev/
+.env
+credentials/

docker-compose.yaml

@@ -0,0 +1,16 @@
+version: '3'
+services:
+  dbt-compile:
+    build: .
+    command:       
+      - dbt
+      - compile
+      - --profiles-dir
+      - .
+      - --profile
+      - default
+      - --target
+      - dev
+    volumes:
+      - ./credentials/:/credentials-dev/
+

models/adm_cor_comando/schema.yml

@@ -44,6 +44,26 @@ models :
         description: Identificador do POP procedimento operacional padrão).
       - name: pop_titulo
         description: Nome do procedimento operacional padrão.
+  - name: procedimento_operacional_padrao_orgaos_responsaveis
+    description: "**Descrição**: Um Procedimento operacional padrão (POP) é um procedimento
+      que será usado para solucionar uma ocorrência. Cada ocorrência necessita o acionamento
+      de diferentes órgãos para atender atividades distintas. Uma ocorrência na cidade
+      do Rio de Janeiro é um  acontecimento que exije um acompanhamento e, na maioria
+      das vezes, uma ação da PCRJ. Por exemplo, Buraco na pista, bolsão d'água, enguiço
+      mecânico. Uma ocorrência aberta é uma ocorrência que ainda não foi solucionada.
+      Acesse também através da API do Escritório de Dados: https://api.dados.rio/v1/\n
+      **Frequência de atualização**: Mensal\n**Cobertura temporal**: Não informado.\n
+      **Órgão gestor dos dados**: COR\n**Publicado por**: Patrícia Catandi\n**Publicado
+      por (email)**: [email protected]\n"
+    columns:
+      - name: id_pop
+        description: ID do POP ao qual a atividade está ligada.
+      - name: sigla
+        description: Sigla do órgão responsável pela atividade.
+      - name: orgao
+        description: Orgão responsável pela atividade.
+      - name: acao
+        description: Descrição da atividade.
   - name: ocorrencias
     description: "**Descrição**: Ocorrências disparadas pelo COR desde 2015. Uma ocorrência
       na cidade do Rio de Janeiro é um  acontecimento que exije um acompanhamento
@@ -80,23 +100,3 @@ models :
         description: Descrição do evento.
       - name: tipo
         description: Tipo do evento (PRIMARIO, SECUNDARIO)
-  - name: procedimento_operacional_padrao_orgaos_responsaveis
-    description: "**Descrição**: Um Procedimento operacional padrão (POP) é um procedimento
-      que será usado para solucionar uma ocorrência. Cada ocorrência necessita o acionamento
-      de diferentes órgãos para atender atividades distintas. Uma ocorrência na cidade
-      do Rio de Janeiro é um  acontecimento que exije um acompanhamento e, na maioria
-      das vezes, uma ação da PCRJ. Por exemplo, Buraco na pista, bolsão d'água, enguiço
-      mecânico. Uma ocorrência aberta é uma ocorrência que ainda não foi solucionada.
-      Acesse também através da API do Escritório de Dados: https://api.dados.rio/v1/\n
-      **Frequência de atualização**: Mensal\n**Cobertura temporal**: Não informado.\n
-      **Órgão gestor dos dados**: COR\n**Publicado por**: Patrícia Catandi\n**Publicado
-      por (email)**: [email protected]\n"
-    columns:
-      - name: id_pop
-        description: ID do POP ao qual a atividade está ligada.
-      - name: sigla
-        description: Sigla do órgão responsável pela atividade.
-      - name: orgao
-        description: Orgão responsável pela atividade.
-      - name: acao
-        description: Descrição da atividade.

models/clima_estacao_meteorologica/schema.yml

@@ -1,5 +1,35 @@
 version: 2
 models :
+  - name: estacoes_inmet
+    description: "**Descrição**: Dados sobre as estações meteorológicas do inmet (
+      Instituto Nacional de Meteorologia ) na cidade do Rio de Janeiro.\n**Frequência
+      de atualização**: Nunca\n**Cobertura temporal**: N/A\n**Órgão gestor dos dados**:
+      INMET\n**Publicado por**: Patricia Catandi\n**Publicado por (email)**: [email protected]\n"
+    columns:
+      - name: sigla_uf
+        description: Sigla do estado.
+      - name: id_municipio
+        description: Código do município do IBGE de 7 dígitos.
+      - name: id_estacao
+        description: ID da estação definido pelo INMET.
+      - name: estacao
+        description: Nome da estação.
+      - name: latitude
+        description: Latitude onde a estação se encontra.
+      - name: longitude
+        description: Longitude onde a estação se encontra.
+      - name: data_inicio_operacao
+        description: Data em que a estação começou a operar.
+      - name: data_fim_operacao
+        description: Data em que a estação parou de operar.
+      - name: situacao
+        description: Indica se a estação está operante ou com falha.
+      - name: tipo_estacao
+        description: Indica se a estação é automática ou manual. Pode conter nulos.
+      - name: entidade_responsavel
+        description: Entidade responsável pela estação.
+      - name: data_atualizacao
+        description: Última data em que os dados sobre a data de operação foram atualizados.
   - name: meteorologia_inmet
     description: "**Descrição**: Dados meteorológicos obtidos nas estações meteorológicas
       do INMET ( Instituto Nacional de Meteorologia ) na cidade do Rio de Janeiro.\r
@@ -51,33 +81,3 @@ models :
       - name: primary_key
         description: Chave primária criada a partir da concatenação da coluna id_estacao,
           data e horário Serve para evitar dados duplicados.
-  - name: estacoes_inmet
-    description: "**Descrição**: Dados sobre as estações meteorológicas do inmet (
-      Instituto Nacional de Meteorologia ) na cidade do Rio de Janeiro.\n**Frequência
-      de atualização**: Nunca\n**Cobertura temporal**: N/A\n**Órgão gestor dos dados**:
-      INMET\n**Publicado por**: Patricia Catandi\n**Publicado por (email)**: [email protected]\n"
-    columns:
-      - name: sigla_uf
-        description: Sigla do estado.
-      - name: id_municipio
-        description: Código do município do IBGE de 7 dígitos.
-      - name: id_estacao
-        description: ID da estação definido pelo INMET.
-      - name: estacao
-        description: Nome da estação.
-      - name: latitude
-        description: Latitude onde a estação se encontra.
-      - name: longitude
-        description: Longitude onde a estação se encontra.
-      - name: data_inicio_operacao
-        description: Data em que a estação começou a operar.
-      - name: data_fim_operacao
-        description: Data em que a estação parou de operar.
-      - name: situacao
-        description: Indica se a estação está operante ou com falha.
-      - name: tipo_estacao
-        description: Indica se a estação é automática ou manual. Pode conter nulos.
-      - name: entidade_responsavel
-        description: Entidade responsável pela estação.
-      - name: data_atualizacao
-        description: Última data em que os dados sobre a data de operação foram atualizados.

models/clima_pluviometro/schema.yml

@@ -44,14 +44,12 @@ models :
         description: Longitude onde a estação se encontra.
       - name: latitude
         description: Latitude onde a estação se encontra.
-  - name: taxa_precipitacao_websirene
+  - name: taxa_precipitacao_alertario
     description: "**Descrição**: Taxa medida de precipitação das estações pluviométricas
-      da Defesa Civil da cidade do Rio de Janeiro.\r\nAs estimativas são feitas de
-      15 em 15 minutos, cada registro contendo dados desta medida.\r\nAs medições
-      dsses pluviômetros são utilizadas para ligar as sirenes da cidade.\n**Frequência
-      de atualização**: Diário\n**Cobertura temporal**: Desde março de 2012 até data
-      corrente\n**Órgão gestor dos dados**: COR\n**Publicado por**: Patrícia Catandi\n
-      **Publicado por (email)**: [email protected]\n"
+      da cidade do Rio de Janeiro.\r\nAs estimativas são feitas de 15 em 15 minutos,
+      cada registro contendo dados desta medida.\n**Frequência de atualização**: Nunca\n
+      **Cobertura temporal**: Desde 1997 até data corrente\n**Órgão gestor dos dados**:
+      COR\n**Publicado por**: Patrícia Catandi\n**Publicado por (email)**: [email protected]\n"
     columns:
       - name: data_particao
         description: Data em que foi realizada a medição
@@ -70,16 +68,14 @@ models :
         description: Acumulado de chuva em 24 horas.
       - name: acumulado_chuva_96_h
         description: Acumulado de chuva em 96 horas.
-      - name: id_estacao
-        description: ID da estação meteorológica em que ocorreu a medição
-      - name: acumulado_chuva_mes
-        description: Acumulado de chuva no mês.
-  - name: taxa_precipitacao_alertario
+  - name: taxa_precipitacao_websirene
     description: "**Descrição**: Taxa medida de precipitação das estações pluviométricas
-      da cidade do Rio de Janeiro.\r\nAs estimativas são feitas de 15 em 15 minutos,
-      cada registro contendo dados desta medida.\n**Frequência de atualização**: Nunca\n
-      **Cobertura temporal**: Desde 1997 até data corrente\n**Órgão gestor dos dados**:
-      COR\n**Publicado por**: Patrícia Catandi\n**Publicado por (email)**: [email protected]\n"
+      da Defesa Civil da cidade do Rio de Janeiro.\r\nAs estimativas são feitas de
+      15 em 15 minutos, cada registro contendo dados desta medida.\r\nAs medições
+      dsses pluviômetros são utilizadas para ligar as sirenes da cidade.\n**Frequência
+      de atualização**: Diário\n**Cobertura temporal**: Desde março de 2012 até data
+      corrente\n**Órgão gestor dos dados**: COR\n**Publicado por**: Patrícia Catandi\n
+      **Publicado por (email)**: [email protected]\n"
     columns:
       - name: data_particao
         description: Data em que foi realizada a medição
@@ -98,3 +94,7 @@ models :
         description: Acumulado de chuva em 24 horas.
       - name: acumulado_chuva_96_h
         description: Acumulado de chuva em 96 horas.
+      - name: id_estacao
+        description: ID da estação meteorológica em que ocorreu a medição
+      - name: acumulado_chuva_mes
+        description: Acumulado de chuva no mês.

models/clima_satelite/schema.yml

@@ -1,20 +1,5 @@
 version: 2
 models :
-  - name: quantidade_agua_precipitavel_goes_16
-    description: "**Descrição**: Taxa de precipitação estimada da região da cidade
-      do Rio de Janeiro. \r\nAs estimativas são feitas a cada 10 minutos.\r\nDados
-      coletados pelo satélite GOES-16.\n**Frequência de atualização**: Nunca\n**Cobertura
-      temporal**: Desde 2020 Até data corrente\n**Órgão gestor dos dados**: COR\n
-      **Publicado por**: Patrícia Catandi\n**Publicado por (email)**: [email protected]\n"
-    columns:
-      - name: latitude
-        description: Latitude do centro da área.
-      - name: longitude
-        description: Longitude do centro da área.
-      - name: tpw
-        description: Quantidade total de água precipitável, medidas em milímetros.
-      - name: horario
-        description: Horário de medição.
   - name: infravermelho_longo_banda_13_goes_16
     description: "**Descrição**: Medições da temperatura de brilho das nuvens e umidade
       utilizando o comprimento de onda de 10,3 µm do infravermelho (banda 13)  na
@@ -33,6 +18,21 @@ models :
       - name: cmi
         description: Temperatura de brilho da CMI (Cloud Moisture Imagery), medidas
           em K.
+  - name: quantidade_agua_precipitavel_goes_16
+    description: "**Descrição**: Taxa de precipitação estimada da região da cidade
+      do Rio de Janeiro. \r\nAs estimativas são feitas a cada 10 minutos.\r\nDados
+      coletados pelo satélite GOES-16.\n**Frequência de atualização**: Nunca\n**Cobertura
+      temporal**: Desde 2020 Até data corrente\n**Órgão gestor dos dados**: COR\n
+      **Publicado por**: Patrícia Catandi\n**Publicado por (email)**: [email protected]\n"
+    columns:
+      - name: latitude
+        description: Latitude do centro da área.
+      - name: longitude
+        description: Longitude do centro da área.
+      - name: tpw
+        description: Quantidade total de água precipitável, medidas em milímetros.
+      - name: horario
+        description: Horário de medição.
   - name: taxa_precipitacao_goes_16
     description: "**Descrição**: Taxa de precipitação estimada  da região da cidade
       do Rio de Janeiro. \r\nAs estimativas são feitas a cada 10 minutos.\r\nDados