Skip to content

Commit

Permalink
docs: 📝 add readme with process-diagram
Browse files Browse the repository at this point in the history
  • Loading branch information
Manuel Ruck committed Dec 10, 2023
1 parent d98c4bb commit d5c21f9
Show file tree
Hide file tree
Showing 2 changed files with 15 additions and 0 deletions.
15 changes: 15 additions & 0 deletions services/cron-jobs/import-deputy-profiles/README.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,15 @@
# Abgeordneten-Scraping-Cron-Job

## Überblick

Dieses Projekt beinhaltet ein Skript für einen Cron-Job, der darauf ausgelegt ist, Daten über Abgeordnete (Deputies) von der Website des Bundestags zu scrapen und in einer MongoDB-Datenbank zu speichern. Das Skript durchläuft die Biografien der Abgeordneten verschiedener Wahlperioden, extrahiert relevante Informationen und speichert diese Daten zur weiteren Verwendung und Analyse.

## Funktionsweise

Das Skript beginnt mit einer Überprüfung der erforderlichen Umgebungsvariablen und stellt dann eine Verbindung zu einer MongoDB-Datenbank her. Es verwendet das Scraping-Tool `scrape-it`, um die Daten der Abgeordneten zu extrahieren, einschließlich Details wie Name, Partei, Biografie, Links zu sozialen Medien und mehr. Die Daten werden dann in der Datenbank gespeichert. Der Prozess wird durch regelmäßige Logs und Fehlerbehandlung überwacht.

## Ablaufdiagramm

Das folgende Ablaufdiagramm veranschaulicht den Prozess, der im Skript implementiert ist:

![Ablaufdiagramm](docs/ablaufdiagramm.jpeg)
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.

0 comments on commit d5c21f9

Please sign in to comment.