Skip to content

Latest commit

 

History

History
5 lines (3 loc) · 587 Bytes

13-Scrapy框架的使用.md

File metadata and controls

5 lines (3 loc) · 587 Bytes

第十三章 Scrapy 框架的使用

在上一章我们了解了 pyspider 框架的用法,我们可以利用它快速完成爬虫的编写。不过 pyspider 框架也有一些缺点,比如可配置化程度不高,异常处理能力有限等,它对于一些反爬程度非常强的网站的爬取显得力不从心。所以本章我们再介绍一个爬虫框架 Scrapy。

Scrapy 功能非常强大,爬取效率高,相关扩展组件多,可配置和可扩展程度非常高,它几乎可以应对所有反爬网站,是目前 Python 中使用最广泛的爬虫框架。