【发布时间】:2016-08-08 21:37:07
【问题描述】:
我正在制作一个抓取工具,从 Facebook 抓取我的朋友列表,然后从他们那里抓取共同朋友的列表,目的是用这些数据构建一个网络。我查看了官方的facebook api,似乎不可能,所以我决定从网页中简单地抓取。
使用mechanize登录后,我刮了一下页面,发现facebook一次只加载20个朋友,滚动时加载更多。我查看了他的机械化文档,但找不到解决方案。我试着睡了几秒钟,然后再翻页,但也没有用。
不知道从哪里开始,是否有模拟机械化中的滚动?
【问题讨论】:
-
Facebook 不允许在获得他们的书面许可的情况下进行抓取。所以使用 API。
-
如果可以的话我会的。
标签: python facebook mechanize mechanize-python