使用 Digital Ocean 服务器在 Dokku 上运行 Scrapy答案

【问题标题】：Running Scrapy on Dokku using a Digital Ocean server使用 Digital Ocean 服务器在 Dokku 上运行 Scrapy
【发布时间】：2016-06-20 14:48:50
【问题描述】：

不知道如何描述，但我在 Digital Ocean 服务器（5 美元服务器）上运行 Scrapy 蜘蛛，Scrapy 项目部署为 Dokku 应用程序。

但是，与我的本地计算机和 Heroku 免费层 dyno 上的速度相比，它的运行速度非常慢。在 Dokku 上，它以每分钟 30 页的速度爬行，而在本地和 Heroku 上，速度为每分钟 200 多页。

我不知道如何调试、分析或从哪里开始解决问题。有关如何解决此问题的任何帮助、线索或提示？

【问题讨论】：

您可以尝试启用AutoThrottle。你的蜘蛛是不是因为内存不足而被杀死了？
我已经启用了 AutoThrottle。它不会因为内存不足而被杀死（我正在使用 1gb 的交换内存）。这很可能是内存问题，DO 服务器还运行 postgresql 和 elasticsearch，而这些服务在 Heroku 上单独运行。我会测试一下：）谢谢你的建议。
我尝试了 10 美元和 20 美元的 DO 服务器，但结果相同。结果是一样的。它终于在 AWS 或 Linode 上运行时工作了。不知道为什么，但我想我必须切换。

【解决方案1】：

我通过不使用 Digital Ocean 服务器“修复”了这个问题。我试图爬取的网站是 craigslist.org，只是对 DO 服务器没有很好的响应。响应请求需要很长时间。其他网站（如 Google 或 Amazon）与 DO 兼容。

当使用来自其他提供商的 VPS 时，我的爬虫在 craigslist 上运行良好。

【讨论】：