【问题标题】:How to deal with an 'endless' webpage when scraping抓取时如何处理“无尽”的网页
【发布时间】:2016-08-08 21:37:07
【问题描述】:

我正在制作一个抓取工具,从 Facebook 抓取我的朋友列表,然后从他们那里抓取共同朋友的列表,目的是用这些数据构建一个网络。我查看了官方的facebook api,似乎不可能,所以我决定从网页中简单地抓取。

使用mechanize登录后,我刮了一下页面,发现facebook一次只加载20个朋友,滚动时加载更多。我查看了他的机械化文档,但找不到解决方案。我试着睡了几秒钟,然后再翻页,但也没有用。

不知道从哪里开始,是否有模拟机械化中的滚动?

【问题讨论】:

  • Facebook 不允许在获得他们的书面许可的情况下进行抓取。所以使用 API。
  • 如果可以的话我会的。

标签: python facebook mechanize mechanize-python


【解决方案1】:

除非你用Selenium来模拟实际的网页,否则你将无法模拟“滚动”(没有窗口时如何滚动,因此没有窗口高度?)

您声明 API 中没有任何内容可让您获取朋友的朋友,但似乎有一个 API function 允许获取用户的朋友列表。

如果这也不起作用,您唯一的选择是追踪 FB 用来获取下一个朋友列表的 ajax,并使用它来获取更多信息。

【讨论】:

  • 感谢您将我指向 Selenium,我会尝试一下。至于API函数,我在尝试获取朋友时收到此消息:“API v2.0及更高版本仅返回安装了此应用的朋友。total_count汇总表示朋友总数,包括未安装的朋友应用程序。”
  • @AstorThrope 如果回答了您的问题,请随意选择我的答案。
  • 我在 m.facebook.com 中使用 mechanize 来获取完整的朋友列表。使用正则表达式,我识别了 url(下一个),并且我在每页导航页面获取所有朋友,显然是我可以看到的列表(特权)。
猜你喜欢
  • 2019-04-23
  • 1970-01-01
  • 2021-12-11
  • 1970-01-01
  • 1970-01-01
  • 2013-06-15
  • 2022-01-15
  • 1970-01-01
  • 2017-11-20
相关资源
最近更新 更多