Ce repository contient des scripts de traitement de la base nationale Sitadel de permis de construire pour le site https://vigibati.fr
Pour fonctionner plusieurs fichiers doivent être présents :
data/communes.csv
: à télécharger sur data.gouv.frdata/coords.sqlite
: un fichier transformé depuis la liste des parcelles récupérées via le scriptshapefile2sqlite.sh
. Ce fichier est à récupérer sur ce cloud
./main-scrap.py
- Telecharge les fichiers csv qui ne sont pas presents dans
data/processed
- Transforme les fichiers CSV en fichiers json (appelle process_csv.py)
process_csv.py file.csv > file.json 2> file.err
Compter les "location" approximatives :
for i in pending/*.json; do echo $i
grep approx $i | grep true | wc -l
; done
Environ 5% normalement
Avec httpie :
http post https://vigibati.fr/api/vigibati/create Cookie:wl_secret_vigibati=$SECRET < <file.json>