【发布时间】:2013-08-13 20:29:05
【问题描述】:
这里是 Python 新手。
我正在寻找一种在线保存我的 python 脚本的方法,以便我可以在工作和在家中处理它们。我想构建一些(简单的)网络抓取工具,使用 Mechanize,也许还有 Scrapy。
在做了一些研究之后,我想我需要的是一个在线 IDE(我说的对吗?)。我找到了 c9.io。问题是 c9.io 被证明太慢了,即使对于非常简单的任务,例如使用 Mechanize 打开和阅读页面也是如此。
您对我应该使用什么来在线编写、保存和运行网络抓取脚本有任何想法吗?
请记住,我无法在工作中使用命令行保存或运行脚本。我需要一些在线的东西。
【问题讨论】:
-
大多数在线 IDE 和类似环境在执行 Web 抓取等操作时要么速度慢要么受到限制。你总是可以在某个地方获得一个 *nix shell 帐户并在那里运行你的 Python 脚本。或者设置一种方式将 ssh/隧道/任何东西从工作中连接到您的家用计算机,然后在您的家用计算机上运行它们。
-
@Josh:考虑到
repl.it无法添加像scrapy和mechanize这样的第三方模块,我不确定这有什么帮助。 -
lxml并尝试github.com 它真的很棒。 -
@Torxed:lwxml 是什么? lwxml.org 的 DirectoryScanner 或其他什么东西?以及 github 是如何帮助你在线运行代码的?
标签: python cloud screen-scraping scrapy mechanize-python