Задача парсера: обработать страницы pep документов с сайта https://www.python.org/ и выписать из них:
- Номер
- Название
- Статус
Также создаётся сводка по статусам PEP — сколько найдено документов в каждом статусе
Информация сохраняется в папке result в файлы с расширением csv в форматах:
- pep_дата_время.csv
- status_summary_дата_время.csv
- Загрузите проект:
git clone https://github.com/Toksi86/scrapy_parser_pep.git- Установите и активируйте виртуальное окружение:
python -m venv venv
source venv/Scripts/activate- Обновите PIP и установите необходимые зависимости
python3 -m pip install --upgrade pip
pip install -r requirements.txt- Запустите паука pep.
scrapy crawl pep