使用 python 抓取推文的问题答案

【问题标题】：Issue with scraping tweets using python使用 python 抓取推文的问题
【发布时间】：2019-01-31 12:24:36
【问题描述】：

我正在尝试在特定时间范围内从一个网页上抓取推文。

为此，我使用此链接，该链接仅在我指定的时间范围内搜索：

https://twitter.com/search?f=tweets&q=subwaydstats%20since%3A2016-08-22%20until%3A2018-08-22

这是我的代码：

import pandas as pd
import datetime as dt
import urllib.request
from bs4 import BeautifulSoup

url = 'https://twitter.com/search?f=tweets&q=subwaydstats%20since%3A2016-08-22%20until%3A2018-08-22'
thepage = urllib.request.urlopen(url)
soup = BeautifulSoup(driver.page_source,"html.parser")

i = 1
for tweet in soup.find_all('div', {'class': 'js-tweet-text-container'}):
    print(tweet.find('p', {'class': 'TweetTextSize'}).text.encode('UTF-8'))
    print(i)
    i += 1

当我从地铁统计用户的实际 twitter 页面中抓取时，上面的代码有效。

出于这个原因，我不明白为什么它对搜索页面不起作用，即使 html 对我来说似乎是一样的。

我是一个初学者，如果这是一个愚蠢的问题，我很抱歉。谢谢！

【问题讨论】：

Twitter 确实提供了一个您可以使用的 API。标准搜索 API 的文档：developer.twitter.com/en/docs/tweets/search/api-reference/…
还有一个非官方的 Python 包装器可以让对 api 的请求变得更加容易：github.com/bear/python-twitter
您好，我考虑过使用 API，但它只能让您获取过去 7 天的推文。我想我可以让它不断生成并将它们存储在某个地方，但我正在尝试寻找替代方法。
抓取 Twitter 网站违反了 Twitter 服务条款，如果检测到这种情况，您的 IP 地址可能会被阻止。见 twitter.com/tos

标签： python html twitter beautifulsoup

【解决方案1】：

有一个 Twitter API - Twitter 搜索 API 文档：https://developer.twitter.com/en/docs/tweets/search/api-reference/get-search-tweets 它使用非官方的 Python 包装器：https://github.com/bear/python-twitter 使得获取推文变得超级容易。

但是，如果你想抓取 HTML，那就更难了。我正在做类似的事情 - 抓取一个有角度的应用程序，但是，您在屏幕上看到的实际 HTML 实际上是通过“前端 javascript”呈现的。请求和urllib，只获取基本的HTML，不运行javascript。

您可以使用selenium，它基本上是一个可以自动执行任务的浏览器。由于它的行为类似于浏览器，它实际上运行的是前端 javascript，这意味着您将能够抓取网页。

这里有一篇很棒的文章解释了你可以抓取 twitter https://medium.com/@dawran6/twitter-scraper-tutorial-with-python-requests-beautifulsoup-and-selenium-part-2-b38d849b07fe的不同方法

【讨论】：

谢谢！我会检查硒。