【问题标题】:About scraping twitter data关于抓取 twitter 数据
【发布时间】:2017-10-10 06:01:29
【问题描述】:

如何在推特中提取一个人的关注者?比如我想提取特朗普的粉丝列表,用BeautifulSoup怎么做?

我试图在 twitter 中提取 Finn Balor 的关注者列表。我获取了 url 并将 BeeautifulSoup 对象应用于它。但它并没有给文档我在“查看页面源”中看到的内容。如何解决?

import requests
from bs4 import BeautifulSoup
r=requests.get("https://twitter.com/FinnBalor/followers")
c=r.content
soup=BeautifulSoup(c,"html.parser")
soup.find_all("div",{"class":"ProfileCard-content"})

这是我使用的代码。

【问题讨论】:

标签: python beautifulsoup python-requests


【解决方案1】:

Twitter 提供REST APIs,您可以使用它们与他们的服务进行交互。

还有一堆基于 Python 的客户端,我们无需重新发明轮子即可使用。

我喜欢的是Tweepy。 Tweepy 有一个很好的文档,你可以按照它来获取 twitter 数据。

【讨论】:

  • 我们不能为此使用 BeautifulSoup 进行抓取吗?
  • 是的,你可以,但如果提供了 rest api,那么你为什么要使用抓取?如果你愿意,你可以这样做,但你需要验证自己才能从 twitter 获取数据...... ..身份验证可以通过 Scrapy 框架完成,或者您可以使用 Selenium  和 BeautifulSoup。
  • 很好。我现在明白了。非常感谢您
猜你喜欢
  • 2023-04-03
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-05-06
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多