-
Notifications
You must be signed in to change notification settings - Fork 9
Commit
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
docs: 📝 add readme with process-diagram
- Loading branch information
Manuel Ruck
committed
Dec 10, 2023
1 parent
d98c4bb
commit d5c21f9
Showing
2 changed files
with
15 additions
and
0 deletions.
There are no files selected for viewing
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,15 @@ | ||
# Abgeordneten-Scraping-Cron-Job | ||
|
||
## Überblick | ||
|
||
Dieses Projekt beinhaltet ein Skript für einen Cron-Job, der darauf ausgelegt ist, Daten über Abgeordnete (Deputies) von der Website des Bundestags zu scrapen und in einer MongoDB-Datenbank zu speichern. Das Skript durchläuft die Biografien der Abgeordneten verschiedener Wahlperioden, extrahiert relevante Informationen und speichert diese Daten zur weiteren Verwendung und Analyse. | ||
|
||
## Funktionsweise | ||
|
||
Das Skript beginnt mit einer Überprüfung der erforderlichen Umgebungsvariablen und stellt dann eine Verbindung zu einer MongoDB-Datenbank her. Es verwendet das Scraping-Tool `scrape-it`, um die Daten der Abgeordneten zu extrahieren, einschließlich Details wie Name, Partei, Biografie, Links zu sozialen Medien und mehr. Die Daten werden dann in der Datenbank gespeichert. Der Prozess wird durch regelmäßige Logs und Fehlerbehandlung überwacht. | ||
|
||
## Ablaufdiagramm | ||
|
||
Das folgende Ablaufdiagramm veranschaulicht den Prozess, der im Skript implementiert ist: | ||
|
||
![Ablaufdiagramm](docs/ablaufdiagramm.jpeg) |
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.