用 Python 抓取 html 或

Question

我对我的（微生物学和遗传学）学生提出的一个论点是“数据”是/是混乱的，Python 可以帮助解决这个问题（当然其他语言也可以）。因此，这是一种实用的基于网络的数据收集练习。

我注意到在代表最高的用户中，有少数人回答了与 Python 相关的问题。在自然出现的问题中：

我希望恢复 Stack Overflow 上（评分最高的）Pythonistas 的当前代表和代表增加率，以便预测 Alex Martelli 是否或何时超过 Steven Lott 或 Greg Hewgill？ Konrad Rudolph 呢？是不是因为这些家伙的增长都被限制在了极限，所以微不足道？

更一般地说，在没有用于查询的 API（我认为没有）的情况下，除了查看页面的 URL 以查找模式、使用 Python 加载这些页面然后抓取 html 之外，还有其他选择吗？我意识到可能没有通用的方法，但我对人们如何解决这个问题很感兴趣。

编辑：@fitzgeraldsteele：一般来说。 SO 实际上只是一个（人为的）示例。

Answer 1

在知识共享许可下，Stack Overflow 每月有一个完全可用的“数据转储”，例如，参见here（只是关于此的许多链接中的第一个“在我的拇指下”——至少每月一个） .对于像我的平均每周代表相对于其他一些海报这样的分析，这样的每月数据块比屏幕截图更有用。

如果您确实想对某些（其他；-）网站进行屏幕抓取，并且不违反他们的政策或他们的 robots.txt 文件，Python 是几个很好的选择之一——从 scrapy 开始，并且例如，您不会有那么多额外的工作要做。