如何抓取特定网站的一些评论？（我遇到了一个挑战。）答案

【问题标题】：How to crawl some comments of a specific web-site? (I met a challenge.)如何抓取特定网站的一些评论？（我遇到了一个挑战。）
【发布时间】：2020-03-02 06:24:35
【问题描述】：

我是爬行的初学者，在学习的过程中遇到了一个难题。

无论如何，我尝试在 web-NEWS 中抓取评论但失败了。

这是我在 python 中使用 selenium 编写的代码。

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By


driver = webdriver.Chrome('./chromedriver')

url = 'https://www.etnews.com/20200228000119?mc=em_101_00001'

driver.get(url)

try:
    element = WebDriverWait(driver, 100).until(EC.presence_of_element_located((By.CSS_SELECTOR, '#list > div:nth-child(3) > div.reply-bottom > div.reply-content-wrapper > div.reply-content > p')))

    comment_list = driver.find_element_by_css_selector('#list > div:nth-child(3) > div.reply-bottom > div.reply-content-wrapper > div.reply-content > p')
except:
    print('Timeout')

print(comment_list.text) 

driver.quit()

我认为 chromedriver 似乎没有检测到 css_selector，因为输出消息始终是“超时”。

我不知道为什么普通网站之一的网站 (https://www.etnews.com/) 中的 cmets 不能被 selenium 压缩。

我想知道原因。请给我一个很大的帮助。

(ps. 我懂 HTML、CSS，但不太懂 Javascript)

【问题讨论】：

你在看哪些cmets？
在哪个元素中出现异常，element 或 comment_list？

标签： python selenium selenium-chromedriver webdriverwait

【解决方案1】：

您正在查看的页面有一个 iframe。 cmets在里面。

为了收集 cmets，您需要先切换到 iframe，然后才能访问 iframe 内的元素，在您的情况下是评论。我修改了你的脚本来做到这一点，试试这个：

driver = webdriver.Chrome('./chromedriver')
url = 'https://www.etnews.com/20200228000119?mc=em_101_00001'

driver.get(url)
driver.implicitly_wait(5)

# Switch to iframe
driver.switch_to.frame(driver.find_element_by_xpath("//iframe[@title='livere']"))
# Search for comment
comment = driver.find_element_by_css_selector('#list > div:nth-child(3) > div.reply-bottom > div.reply-content-wrapper > div.reply-content > p')
print(comment.text)

driver.quit()

希望对你有帮助，祝你好运！

【讨论】：