使用漂亮汤的数据框问题答案

【问题标题】：Problem with dataframe using beautiful soup使用漂亮汤的数据框问题
【发布时间】：2021-01-12 21:57:31
【问题描述】：

我使用美丽的汤来创建一个数据框来抓取数据。但是，有两个问题。

为什么 for 循环会运行 2 次？
如何去掉数据框上的括号？

导入 urllib.request 作为请求

from bs4 import BeautifulSoup
import bs4
import requests
import pandas as pd

url = "https://finance.yahoo.com/quote/BF-B/profile?p=BF-B"

root = requests.get(url)

soup = BeautifulSoup(root.text, 'html.parser')

records = []

for result in soup:
name = soup.find_all('h1', attrs={'D(ib) Fz(18px)'})
website = soup.find_all('a')[44]
sector = soup.find_all('span')[35]
industry = soup.find_all('span')[37]
records.append((name, website, sector, industry))

df = pd.DataFrame(records, columns=['name', 'website', 'sector', 'industry'])
df.head()

结果如下：

DataFrame Output

【问题讨论】：

您是否针对循环问题进行了任何调试？括号有什么用？请参阅How to Ask、help center。此外，除非绝对必要，否则请不要将信息作为图像共享。请参阅：meta.stackoverflow.com/questions/303812/…、idownvotedbecau.se/imageofcode、idownvotedbecau.se/imageofanexception。

标签： python pandas dataframe beautifulsoup

【解决方案1】：

要获取有关公司的信息，您不必遍历soup，只需直接提取必要的信息即可。要摆脱[..] 括号，请使用.text 属性：

import requests
from bs4 import BeautifulSoup


url = 'https://finance.yahoo.com/quote/BF-B/profile?p=BF-B'
soup = BeautifulSoup(requests.get(url).content, 'html.parser')

all_data = []

all_data.append({
    'Name': soup.h1.text,
    'Website': soup.select_one('.asset-profile-container a[href^="http"]')['href'],
    'Sector': soup.select_one('span:contains("Sector(s)") + span').text,
    'Industry': soup.select_one('span:contains("Industry") + span').text
})

df = pd.DataFrame(all_data)
print(df)

打印：

                              Name                      Website              Sector                           Industry
0  Brown-Forman Corporation (BF-B)  http://www.brown-forman.com  Consumer Defensive  Beverages—Wineries & Distilleries

【讨论】：