13518219792
这篇文章将为大家详细讲解有关scrapy-redis在python分布式爬虫中怎么用，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。
成都创新互联公司拥有10多年成都网站建设工作经验,为各大企业提供成都网站制作、网站设计服务，对于网页设计、PC网站建设（电脑版网站建设）、app开发定制、wap网站建设（手机版网站建设）、程序开发、网站优化（SEO优化）、微网站、空间域名等，凭借多年来在互联网的打拼，我们在互联网网站建设行业积累了很多网站制作、网站设计、网络营销经验，集策划、开发、设计、营销、管理等网站化运作于一体，具备承接各种规模类型的网站建设项目的能力。
在setting.py中修改和添加的内容
# 把scrapy中默认的去重组件替换为scrapy-redis中的去重组件
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 把scrapy中默认的调度器替换成scrapy-redis中的调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 任务持久化
SCHEDULER_PERSIST = True
# 添加scrapy-redis管道
ITEM_PIPELINES = {
# 'guoke.pipelines.GuokePipeline': 300,
'scrapy_redis.pipelines.RedisPipeline': 400,
}
# 添加redis数据库的连接URL
# REDIS_URL = 'redis://127.0.0.1:6379'
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
REDIS_PARAMS = {}
REDIS_PARAMS['password'] = '12345'
wenda.py添加的内容
from scrapy_redis.spiders import RedisSpider # class WendaSpider(scrapy.Spider): # 继承RedisSpoder类 class WendaSpider(RedisSpider): name = 'wenda' allowed_domains = ['guokr.com'] #添加redis库，当redis中没有这个键的时候，程序会处于监听等待状态 redis_key = 'python'
关于scrapy-redis在python分布式爬虫中怎么用就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。
