在 Python 中抓取一个表类

Question

我正在尝试抓取 http://emojipedia.org/emoji/ ，但我不确定最有效的方法是什么。我想抓取的内容在表 class="emoji_list" 中。我想将每个“td”中的内容保存在单独的列中。输出将如下所示，其中每行代表一个表情符号：

Col1_Link               Col2_emoji      Col3_Comment        Col4_UTF
"/emoji/%F0%9F%98%80/"       ????        Grinning Face         U+1F600

到目前为止，我已经编写了以下代码，但我不确定最好的方法是什么。

import requests
from bs4 import BeautifulSoup 
import urllib
import re    

url = "http://emojipedia.org/emoji/"
html = urllib.urlopen(url)
soup = BeautifulSoup(html)
soup.findAll('tr', limit=2)

非常感谢您的帮助。

Answer 1

soup.findAll('tr', limit=2) 不会做太多考虑到只获取页面上的前两个 trs。您需要首先找到 table 的所有行，然后在每个 tr 的两个 tds 中提取您想要的内容：

import requests
from bs4 import BeautifulSoup
url = "http://emojipedia.org/emoji/"
html = requests.get(url).content

soup = BeautifulSoup(html)
table = soup.select_one("table.emoji-list")

for row in table.find_all("tr")[:5]:
    td1, td2 = row.find_all("td")
    em, desc =  td1.text.split(None, 1)
    print(td1.a["href"], em, desc, td2.text)

另一种方法是只获取文本而不进行拆分，即从 a 标签中获取文本，不包括 find(text=True, recursive=False) 的子文本

for row in table.find_all("tr"):
    td1, td2 = row.find_all("td")
    print(td1.a["href"], td1.a.span.text, td1.a.find(text=True, recursive=False), td2.text)

我也会坚持使用请求而不是 urllib。