使用 Selenium 获取“显示更多评论”文本

Question

我试图在https://www.capterra.com/p/155563/Freshsales/reviews/ url 上的“显示更多评论”之后获取 HTML 页面的来源，但我什至无法获取部分数据。

我已经能够解析所有具有不同链接和点击的数据，这些数据打开了不同的页面，但相同的页面数据却超出了我的范围。不是 HTML 人，所以理解按钮点击有点困难。

读了几篇文章后，我认为这个任务用漂亮的汤是不可能的，所以必须用 Selenium 来完成。请推荐

我正在分享图片，之后我想获取数据。

Answer 1

您可以使用 xpath 或 css：

xpath：

//div[contains(@class,"MoreReviewButton")]/button

CSS

div[class *= MoreReviewButton] > button

两者是相等的，并且正在搜索包含带有“MoreReviewButton”的类的div元素，然后在其中找到直接按钮子元素。但是该页面似乎需要双击并且不能单击：

所以使用：

elem = driver.find_element_by_css_selector("div[class *= MoreReviewButton] > button")

driver.execute_script("arguments[0].scrollIntoView()",elem)   


a = WebDriverWait(driver, 20).until(EC.visibility_of_element_located(
    (By.CSS_SELECTOR, "div[class *= MoreReviewButton]>button")))

ActionChains(driver).move_to_element(a).double_click().perform()

或

elem = driver.find_element_by_css_selector("div[class *= MoreReviewButton] > button")

driver.execute_script("arguments[0].scrollIntoView()",elem)   


a = WebDriverWait(driver, 20).until(EC.visibility_of_element_located(
    (By.CSS_SELECTOR, "div[class *= MoreReviewButton]>button")))

a.click()
a.click()