Skip to content
/ Proxies Public

100行Python代码快速获得一个代理池,两分钟获得数千个有效代理

Notifications You must be signed in to change notification settings

0xHJK/Proxies

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

26 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Proxies

100行Python代码快速获得一个代理池,两分钟获得数千个有效代理。

爬虫一般情况下需要FQ,请自行修改SPIDER_PROXIES的配置,参考格式:

SPIDER_PROXIES = {'http': 'socks5://127.0.0.1:1086', 'https': 'socks5://127.0.0.1:1086'}

注:ip138的URL可能会失效,可以访问ip138.com查看源码获得新URL,或修改为其他可返回IP的URL

如果发现新的站点,可以增加SITES的内容

USAGE 使用方法

安装依赖

pip3 install requests

运行

python3 run.py

# 指定验证的URL(默认是ip138)
python3 run.py -u 'https://www.baidu.com'

# 指定输出文件位置(默认是proxies.txt)
python3 run.py -o 'output.txt'

# 指定从文件读入代理校验(默认是爬虫爬代理)
python3 run.py -f 'input.txt'

# 从指定文件读取代理,并指定校验网站和输出位置
python3 run.py -f 'input.txt' -u 'https://www.baidu.com' -o 'output.txt'

注意:输出文件会被覆盖。

Preview

LICENSE

WTFPL

About

100行Python代码快速获得一个代理池,两分钟获得数千个有效代理

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages