DJH-Spider

---

jasonhaven

---

1.入门

day1

• 爬虫原理
• robots.txt
• sitemap.xml
• python 库：urllib,urllib2,requests,beautifulsoup,lxml,selenium,phantomjs,scrapy等等
• 基本爬取过程
• cookie使用
• get方式和post方式
• 爬取csdn
• 正则表达式的使用

day2

• 爬取糗事百科

day3

• 爬取百度贴吧

day4

• 爬取淘宝MM

day5

• requests
• Beautifulsoup

day6

• scrapy day1
• 搭建环境，scrapy框架结构，基本使用

day7

• 学习XPath
• 学习Scrapy命令

day8

• 爬取豆瓣电影排行榜

day9

• 爬取腾讯招聘网站翻页数据采集--更新Url

day10

• 爬取斗鱼主播名字和大头照--pipline保存