【问题标题】:What is the easiest way to run python scripts in a cloud server?在云服务器中运行 python 脚本的最简单方法是什么?
【发布时间】:2015-01-10 04:26:46
【问题描述】:

我有一个网络爬虫 python 脚本需要几个小时才能完成,并且无法在我的本地计算机上完整运行。有没有一种方便的方法可以将它部署到一个简单的 Web 服务器?该脚本基本上将网页下载到文本文件中。这将如何最好地完成? 谢谢!

【问题讨论】:

  • 可能你要的是this

标签: python cloud web-crawler virtual server


【解决方案1】:

既然你说性能是一个问题并且你正在做网络抓取,首先要尝试的是Scrapy 框架——它是一个非常快速且易于使用的网络抓取框架。 scrapyd 工具将允许您分配爬取 - 您可以在不同的服务器上运行多个 scrapyd 服务并在每个服务器之间分配负载。见:

还有一个Scrapy Cloud 服务:

Scrapy Cloud 为高效的 Scrapy 开发搭建桥梁 具有强大、功能齐全的生产环境的环境 部署并运行您的爬网。它就像 Scrapy 的 Heroku,虽然 其他技术将在不久的将来得到支持。它运行在 Scrapinghub 平台的顶部,这意味着您的项目可以扩展 需求,根据需要。

【讨论】:

    【解决方案2】:

    您可以在多个地方执行此操作。只需 google 一下“python in the cloud”,你就会想出一些,例如 https://www.pythonanywhere.com/

    此外,还有一些云 IDE 基本上免费为您提供一个小型 VM,您可以在其中在基于 Web 的 IDE 中开发代码并在 VM 中运行,例如http://www.c9.io

    【讨论】:

    • PythonAnywhere dev here -- 感谢您的提及! :-) 我还要补充一点,我们有很多客户使用我们的 Scrapy。这种保持脚本运行的方式非常流行:pythonanywhere.com/wiki/LongRunningTasks
    【解决方案3】:

    作为已经给出的解决方案的替代方案,我建议Heroku。您不仅可以轻松部署网站,还可以为机器人运行脚本。

    基本帐户是免费的,而且非常灵活。

    This blog entrythis onethis video 包含如何使其工作的实际示例。

    【讨论】:

      【解决方案4】:

      如果您有 google 电子邮件帐户,则可以访问 google 驱动器和实用程序。选择 colaboratory(或先在更多...选项中找到它)。这个“CoLab”本质上是你在谷歌驱动器上的 python 笔记本,可以完全访问你驱动器上的文件,也可以访问你的 GitHub。因此,除了本地内容之外,您还可以编辑 GitHub 脚本。

      【讨论】:

        【解决方案5】:

        在 2021 年,Replit.com 让在云中编写和运行 Python 变得非常容易。

        【讨论】:

        • 我无法让我的环境在此工作:-/ 继续!
        猜你喜欢
        • 2019-02-25
        • 1970-01-01
        • 1970-01-01
        • 2010-09-12
        • 2017-11-05
        • 1970-01-01
        • 2019-01-08
        • 2012-06-25
        • 2023-04-06
        相关资源
        最近更新 更多