使用在后端运行的 Scrapy Spiders 托管网站的最佳实践

Question

也许我错过了关于 Scrapy 的一些东西，但这是我要做的： 我根据我使用 Scrapy Crawl Spiders 从 Internet 抓取的信息创建了一个网站。但是，我被困在如何让我的网站上线。我正在考虑网络托管，但大多数服务提供商不允许在他们的服务器上安装这些脚本。当然，我可以租一台服务器，但目前对我来说太贵了。如果您有类似的经历，任何人都可以对此有所了解。该网站基于 ASP.NET，因此需要虚拟主机支持 MS SQL、ASP.NET 以及 Scrapy。 scrapy中有什么东西可以让蜘蛛在不安装的情况下运行吗？非常感谢。

干杯， 雷

Answer 1

您需要一个托管服务，您可以在其中安装 scrapyd 服务，以便您可以自动进行屏幕抓取。我从来没有这样做过，因为我刚刚开始玩 Scrapy，但这里是有关 scrapyd 的信息：http://readthedocs.org/docs/scrapy/en/latest/topics/scrapyd.html

您可能希望查看用于托管的虚拟专用服务器，因为它们比托管或专用服务器便宜，但比共享托管提供更多控制权。

Answer 2

我发现在使用 Heroku 定期免费部署和运行我的蜘蛛方面取得了很大的成功。您可以阅读有关步骤here

或者，我们可以使用 Scrapyd 来托管您的蜘蛛并实际发送请求，以及 ScrapydWeb。