如何刮掉这个领域？答案

【问题标题】：How to Scrape This Field?如何刮掉这个领域？
【发布时间】：2021-04-29 17:42:20
【问题描述】：

我的代码进入网页并抓取所有作者，但我还需要会话名称。

我当前的代码将只打印“SESSION”而不是会话的值

from selenium.webdriver.common.by import By
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
wait=WebDriverWait(driver, 70)

driver.get('https://meetinglibrary.asco.org/results?filters=JTVCJTdCJTIyZmllbGQlMjIlM0ElMjJmY3RNZWV0aW5nTmFtZSUyMiUyQyUyMnZhbHVlJTIyJTNBJTIyQVNDTyUyMEFubnVhbCUyME1lZXRpbmclMjIlMkMlMjJxdWVyeVZhbHVlJTIyJTNBJTIyQVNDTyUyMEFubnVhbCUyME1lZXRpbmclMjIlMkMlMjJjaGlsZHJlbiUyMiUzQSU1QiU1RCUyQyUyMmluZGV4JTIyJTNBMCUyQyUyMm5lc3RlZFBhdGglMjIlM0ElMjIwJTIyJTdEJTJDJTdCJTIyZmllbGQlMjIlM0ElMjJZZWFyJTIyJTJDJTIydmFsdWUlMjIlM0ElMjIyMDIxJTIyJTJDJTIycXVlcnlWYWx1ZSUyMiUzQSUyMjIwMjElMjIlMkMlMjJjaGlsZHJlbiUyMiUzQSU1QiU1RCUyQyUyMmluZGV4JTIyJTNBMSUyQyUyMm5lc3RlZFBhdGglMjIlM0ElMjIxJTIyJTdEJTVE')


productList=wait.until(EC.presence_of_all_elements_located((By.XPATH,"//div[@class='record']")))
for product in productList:
        author=product.find_element_by_xpath(".//div[@class='record__ellipsis']").text
        session=product.find_element_by_xpath("//div[@class='record__meta__title']").text
        print(session)

【问题讨论】：

标签： python selenium web-scraping xpath

【解决方案1】：

要获取会话名称，请使用xpath:

//div[@class='record__meta ng-star-inserted'][1]/div[2]

要获取会话标题，我会使用：

//div[@class='record__category ng-star-inserted']

还有标题：

//div[@class='record__title ng-star-inserted']/span

【讨论】：

这似乎将所有会话值打印为“Moving Toward Equity”（不适用于所有人）
是的，我以为你在要求它。 1 分钟，我会编辑
我想通了，在会话之前需要一段时间。否则它会打印重复值。应该是 --> .//div[@class='record__meta ng-star-inserted'][1]/div[2] 。谢谢！
是的，这种情况你需要输入.。
你知道我们为什么需要这个。

【解决方案2】：

对于会话尝试使用此 xpath .//div[@class='record__meta ng-star-inserted' and contains(., 'Session')]:

session=product.find_element_by_xpath(".//div[@class='record__meta ng-star-inserted' and contains(., 'Session')]").text

【讨论】：