【问题标题】:Work on my Python Scripts in different computers在不同的计算机上处​​理我的 Python 脚本
【发布时间】:2013-08-13 20:29:05
【问题描述】:

这里是 Python 新手。

我正在寻找一种在线保存我的 python 脚本的方法,以便我可以在工作和在家中处理它们。我想构建一些(简单的)网络抓取工具,使用 Mechanize,也许还有 Scrapy。

在做了一些研究之后,我想我需要的是一个在线 IDE(我说的对吗?)。我找到了 c9.io。问题是 c9.io 被证明太慢了,即使对于非常简单的任务,例如使用 Mechanize 打开和阅读页面也是如此。

您对我应该使用什么来在线编写、保存和运行网络抓取脚本有任何想法吗?

请记住,我无法在工作中使用命令行保存或运行脚本。我需要一些在线的东西。

【问题讨论】:

  • 大多数在线 IDE 和类似环境在执行 Web 抓取等操作时要么速度慢要么受到限制。你总是可以在某个地方获得一个 *nix shell 帐户并在那里运行你的 Python 脚本。或者设置一种方式将 ssh/隧道/任何东西从工作中连接到您的家用计算机,然后在您的家用计算机上运行它们。
  • @Josh:考虑到repl.it 无法添加像scrapymechanize 这样的第三方模块,我不确定这有什么帮助。
  • lxml 并尝试github.com 它真的很棒。
  • @Torxed:lwxml 是什么? lwxml.org 的 DirectoryScanner 或其他什么东西?以及 github 是如何帮助你在线运行代码的?

标签: python cloud screen-scraping scrapy mechanize-python


【解决方案1】:

听起来https://scraperwiki.com/ 正是您所需要的。它甚至内置了一些很棒的 python 抓取模块。

ScraperWiki 是一个免费工具,可让您用 Python(和其他语言)编写爬虫。然后它以 API 或下载的形式提供数据,并提供一些显示工具。 他们的环境不适合在其中编写脚本 - 但它不像在您的家用机器上工作。

【讨论】:

  • @Torxed 在该答案中推荐的库 lxml 在 scraperwiki 中提供。
  • CodeBeard,今晚我会试试 Scraperwiki。这正是我想要的。
  • Scraperwiki 万岁,是的,它们支持多种语言,对像我这样的统计学家很有帮助。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2020-06-26
  • 2021-03-27
  • 1970-01-01
  • 1970-01-01
  • 2014-06-15
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多