学习《Python网络爬虫 从入门到精通》_掌握爬虫的精髓_7.3 爬虫的部署和管理

【摘要】 本书摘自《Python网络爬虫 从入门到精通》一书中第7章，第3节，吕云翔、张扬和韩延刚等编著。

7.3 爬虫的部署和管理

7.3.1 配置远程主机

使用一些强大的爬虫框架(比如前面曾提到过的 Scrapy 框架)可以开发出效率高、扩 展性强的各种爬虫程序。在爬取时，可以使用自己手头的机器来完成整个运行的过程，但问 题在于，机器资源是有限的，尤其是在爬取数据量比较大的时候，直接在自己的机器上来运 行爬虫不仅不方便，也不现实。这时一个不错的方法就是将本地的爬虫部署到远程服务器上 来执行。

在部署之前，首先需要拥有一 台远程服务器，购买 VPS 是一个比较方便的选择。所谓 的虚拟专用服务器 (Virtual Private Server,VPS), 是将一 台服务器分区成多个虚拟专享服务 器的服务，因而每个 VPS 都可分配独立公网 IP 地址、独立操作系统，为用户和应用程序模 拟出“独自”使用计算资源的体验。这么听起来，VPS 似乎很像是现在流行的云服务器，但 二者也并不相同。云服务器 ( Elastic Compute Service,ECS) 是一种简单高效、处理能力可 弹性伸缩的计算服务，特点是能在多个服务器资源 (CPU、 内存等)中调度，而 VPS 一般 只是在一 台物理服务器上分配资源。当然， VPS 相比于 ECS 在价格上低廉很多。作为普通 开发者，如果只是需要做一些小网站或者简单程序，那么使用 VPS 就已足够满足需求了。 接下来就从购买 VPS 服务开始，说明在 VPS 部署普通爬虫的过程。

VPS 提供商众多，这里推荐采用国外(尤其是北美)的提供商，相比较而言，堪称物美 价廉。其中有名的包括 Linode 、Vultr 、Bandwagon 等厂商。方便起见，在此选择 Bandwagon 作为示例(见图7- 14),主要原因是它支持支付宝付款，无需信用卡(其他很多 VPS 服务的 支付方式是使用支持 VISA 的信用卡),而且可供选择的服务项目也比较多样化。填写相关信息完毕，拿到账号之后，选择合适的 VPS 服务项目并订购。这里需要注意 的是订购周期(年度、季度等)和架构 (OpenVZ 或者 KVM) 两个关键信息。 一般而言， 如果选择年度周期，平均计算下来会享受更低的价格。至于 OpenVZ 和 KVM, 作为不同的 架构各有特点。由于 KVM 架构能够提供更好的内核优化，也有不错的稳定性，因此在此选 择KVM 。付款成功后回到管理后台，选择 “KiviVM Control Panel” 进入控制面板。

【提示】 Op enVZ 是基于 Linux 内核和作业系统的虚拟化技术，是操作系统级别的。 OpenVZ 的特征就是允许物理机器(一般就是服务器)运行多个操作系统，这被称为虚拟专 用服务器 (VPS,Virtual Private Server) 或虚拟环境 (VE,Virtual Environment ) 。KVM则是 嵌入Linux 操作系统标准内核中的一个虚拟化模块，是完全虚拟化的。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们 18664393530@aliyun.com 处理，核实后本网站将在24小时内删除侵权内容。