Python3 - Urllib & BeautifulSoup4 提取特定文本

Question

我是 python 新手，我正在尝试让一个脚本与 urllib 和 BeautifulSoup4 一起工作，以收集可通过 emojitracker API 流式传输的推文。它将特定表情符号的推文输出为 .json 文件。一个例子是这个链接（在 chrome 中打开）： http://emojitracker.com/api/details/1F52B

我可以从 .json 中获取所有文本，但我只想获取推文（在“文本：”之后）。我环顾四周，有一个示例可以使用 soup.findAll("a",class_="classname") 获取页面上的所有链接。

我使用了检查元素，发现我需要的推文存储为：(span class="type-string")tweet go here(/span)。所以我尝试了以下方法：

from bs4 import BeautifulSoup
import urllib.request

url = "http://emojitracker.com/api/details/1F52B"
page = urllib.request.urlopen(url)
soup = BeautifulSoup(page.read(),"html.parser")
tweets = soup.findAll("span", class_"type-string")

for tweet in tweets:
    print (tweet.string)

运行，它没有打印任何东西。我怎样才能让它只打印出推文？

Answer 1

您提供的页面不是 html 页面。事实上，它被格式化为 json 文件，因此您无法将其视为 HTML 页面。

据我了解，您想要的是检索所有最近的推文。

为了做到这一点，我们得到响应，就像已经做的那样，解析响应字符串并使用 json 库将其转换为 Python 字典（不需要安装，因为它是标准库的一部分） .

如果你想这样做，我们可以编写如下代码：

import json
import urllib.request

url = "http://emojitracker.com/api/details/1F52B"
page = urllib.request.urlopen(url)
json = json.loads(str(page.read(), 'latin'))

for tweet in json['recent_tweets']:
    print(tweet['text'])

希望对你有帮助，