Python / Selenium：如何在动态生成的表中迭代 tr

Question

我正在尝试从该网站https://coinmunity.co/ 下载表格，然后使用 Pandas 以简单的方式操作数据。 问题是该表是动态生成的，因此我无法轻松理解其结构或检测我需要执行循环工作的“tr”。 之前用过Requests和BeautifulSoup都试过了，没用，所以这里有人推荐了Selenium，但没有告诉我更多。

在 Selenium 上，我已经尝试了很多东西，包括 xpaths、css 选择器等……但没有任何效果。我的想法是为每一行有序地提取数据，但是行名似乎有一个很奇怪的名字，包括“_ngcontent”，我无法理解。

这是我的（不起作用的）代码：

from selenium import webdriver
import pandas as pd
import time
from bs4 import BeautifulSoup

driver = webdriver.Firefox()
driver.implicitly_wait(10)
#driver.get("https://coinmunity.co/")
url = 'file:///C:/Users/nique/PycharmProjects/untitled/test1.html'
driver.get(url)
html = driver.page_source.encode('utf-8')

#html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, 'lxml')

results = []
symbol_list = []

#items = driver.find_elements_by_class_name('coin-link')
items = driver.find_elements_by_css_selector('.inner-container > table:nth-child(1) > tbody:nth-child(2) > tr:nth-child(2)')
#how_many = driver.find_elements_by_css_selector('html body app-root app-home div.outer-container div.inner-container table tbody tr')

count = 1
for el in range(1,3):
    #row = driver.find_elements_by_css_selector('.inner-container > table:nth-child(1) > tbody:nth-child(2) > tr:nth-child((count))')
    row = driver.find_elements_by_xpath('/html/body/app-root/app-home/div/div/table/tbody/tr[count]')

    symbol = row.find_element_by_class_name('coin-link')
    followers = driver.find_elements_by_class_name('stats')[0]
    changefollowers = driver.find_elements_by_class_name('stats')[1]
    # subscribers = driver.find_elements_by_class_name('stats')[2]
    # changesubscribers = driver.find_elements_by_class_name('stats')[3]
    # price = driver.find_elements_by_class_name('stats')[4]
    # changeprice = driver.find_elements_by_class_name('stats')[5]
    count += 1
    print(symbol)

    # results.append({'Symbol': symbol.text, 'TFollowers': followers.text, 'ChangeFollowers': changefollowers.text,'Subscribers': subscribers.text,'ChangeSubscribers': changesubscribers.text,'Price': price.text, 'ChangePrice': changeprice.text})

print(symbol_list)
print(results)

如何以最简单、最整洁的方式下载这些信息并为 Pandas 做好准备？ 谢谢

Answer 1

有两个指令可以处理您描述的问题：

1. 使用driver.find_elements_by_<something>() 遍历表的所有行。
   我建议将其与静态网页一起使用。这更自然，因为您实际上利用了 Selenium 的功能。
2. 下载网页的 HTML 代码，“离线”解析和操作它。
   当页面不断更新时，这会更好，并保证您不会调用页面中的陈旧元素。但是，它会迫使您解析 HTML 代码，这绝不是一件有趣的事情。

选择最适合您的，然后您可以继续处理更多技术问题。
祝您好运！


编辑：请注意该方法是如何调用元素s的，因此您不应该提及元素的索引。因此，在您的情况下，您可以使用：

row = driver.find_elements_by_xpath('/html/body/app-root/app-home/div/div/table/tbody/tr')

# And not:
row = driver.find_elements_by_xpath('/html/body/app-root/app-home/div/div/table/tbody/tr[number]')

它将返回所有具有上述属性的元素（在本例中为给定的 xpath）。