带有循环的 Web Scraping 仅返回单个元素

Question

当我运行 for 循环来收集 <div> 标记中的元素时，它只返回具有相同 class 的所有列表中的第一个。

例如：

r = requests.get("https://one-versus-one.com/en/rankings/all/statistics")

soup = BeautifulSoup(r.content, 'lxml')

data = {
    'players': [],
    'club': [],
    'rank': []
}
def getstuff(soup):
    products = soup.find_all('div', {'class':'rankings-table'})
    for name in products:
        players = name.find('div', {'class':'player-name rankings-table__player-name'}).text
        club = name.find('span', {'class':'rankings-table__club-name'}).text
        rank = name.find('div', {'class':'rankings-table-cell value rankings-table__value'}).text.strip()
        data['players'] = players
        data['club'] = club
        data['rank'] = rank
        print(data)

getstuff(soup)

这会返回：

{'players': 'Lionel Messi', 'club': 'Barcelona', 'rank': '100'}

我希望所有球员、俱乐部和排名都打印在页面中。

Answer 1

你可以试试这个：

import requests
from bs4 import BeautifulSoup

r = requests.get("https://one-versus-one.com/en/rankings/all/statistics")
soup = BeautifulSoup(r.content, 'lxml')

data = {'players': [],'club': [],'rank': []}

def getstuff(soup):
    products = soup.find('div', {'class':'rankings-table'}).find_all("a")
    for name in products:
        players = name.find('div', {'class':'player-name rankings-table__player-name'}).text
        club = name.find('span', {'class':'rankings-table__club-name'}).text
        rank = name.find('div', {'class':'rankings-table-cell value rankings-table__value'}).text.strip()
        data['players'].append(players)
        data['club'].append(club)
        data['rank'].append(rank)
    print(data)

getstuff(soup)
"""
{'players': ['Lionel Messi', 'Junior Neymar', 'Robert Lewandowski', 'Joao Cancelo', 'Kevin de Bruyne', 'Rodri', 'Jesse Lingard', 'Riyad Mahrez', 'Ilkay Gundogan', 'John Stones'], 'club': ['Barcelona', 'Paris Saint-Germain', 'Bayern Munich', 'Manchester City', 'Manchester City', 'Manchester City', 'West Ham United', 'Manchester City', 'Manchester City', 'Manchester City'], 'rank': ['100', '95', '93', '92', '91', '90', '90', '89', '88', '88']}
"""

您必须使用.find_all("a") 来获取有关所有玩家的信息。另外，您只是在data['players'] insted 中添加新玩家，对于添加新玩家和俱乐部，排名相同。

Answer 2

您正在覆盖每个循环中的变量，而不是附加到数据集。此外，您的产品搜索中只有一位玩家。

试试

data = []


products = soup.select('a .rankings-table-row')
for name in products:
    players = name.find('div', {'class':'player-name rankings-table__player-name'}).text
    club = name.find('span', {'class':'rankings-table__club-name'}).text
    rank = name.find('div', {'class':'rankings-table-cell value rankings-table__value'}).text.strip()

    data.append(
        {
         'Players':  players,
         'Club': club,
         'Rank': rank
        }            
        )
data = pd.DataFrame(data)  
          

Answer 3

你应该试试

data['players'].append(players)

这是一个列表，所以附加应该可以工作。一个列表只能通过附加来添加，如果你这样做了

data['players'] = players

它会将“玩家”键分配给一个值。其他键也是如此

我下面的答案也提到你应该使用'find_all'。

Answer 4

我也尝试过解决这个问题，但使用的是硒。我什至使用了显式等待：WebDriverWait，以确保元素加载。

仍然只有梅西回归，其他球员都没有。这些元素作为条目存在，但是当尝试访问它们的“.text”时，它们返回空白。上面的人尝试过他们建议的解决方案吗？