16
2020
03

你用过的爬虫框架或者模块有哪些?

Python自带:urllib,urllib2


第 三 方:requests


框 架:Scrapy


urllib和urllib2模块都做与请求URL相关的操作,但他们提供不同的功能。


urllib2.:urllib2.urlopen可以接受一个Request对象或者url,(在接受Request对象时候,并以此可以来设置一个URL 的headers),urllib.urlopen只接收一个url


urllib 有urlencode,urllib2没有,因此总是urllib,urllib2常会一起使用的原因


scrapy是封装起来的框架,他包含了下载器,解析器,日志及异常处理,基于多线程, twisted的方式处理,对于固定单个网站的爬取开发,有优势;但是对于多网站爬取 100个网站,并发及分布式处理方面,不够灵活,不便调整与括展。


request 是一个HTTP库, 它只是用来,进行请求,对于HTTP请求,他是一个强大的库,下载,解析全部自己处理,灵活性更高,高并发与分布式部署也非常灵活,对于功能可以更好实现。

« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。