网站建设资讯

NEWS

网站建设资讯

Docker如何部署Scrapy-创新互联

这篇文章将为大家详细讲解有关Docker如何部署Scrapy,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

创新互联主营海曙网站建设的网络公司,主营网站建设方案,APP应用开发,海曙h5重庆小程序开发搭建,海曙网站营销推广欢迎海曙等地区企业咨询

假设我们要在10台Ubuntu 部署爬虫如何搞之?用传统的方法会吐血的,除非你记录下来每个步骤,然后步骤之间的次序还完全一样,这样才行。但是这样还是累啊,个别软件下载又需要时间。所以Docker出现了。Docker把系统,各种需要的应用,还有设置编译成一个image,然后 run一下就可以了。跟虚拟机的区别是不需要而外的物理支持,共用的。

1. 部署步骤

1.1 上传本地scrapy爬虫代码除了settings外到git 服务器

1.2 编写Dockerfile文件,把settings和requirements.txt 也拷贝到image里,一起打包成一个image

Dockerfile内容:

1.6 命令进去后,git clone 1.1中的爬虫,然后复制images里的settings到爬虫目录,然后执行scrapy crawl xxx即可

关于“Docker如何部署Scrapy”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。

原文链接:http://www.waitingfy.com/archives/3249


文章名称:Docker如何部署Scrapy-创新互联
当前链接:http://cdweb.net/article/cdodpp.html