Python -Google 搜索 - 如何设置灵活的结果选择

Question

我正在尝试抓取一些通过 Google 搜索访问它们的页面，并且我需要添加一些受限字词列表。

假设 Python 在 Google 搜索中排名靠前的 4 个结果是：

• 欢迎来到 Python.org https://www.python.org/

• Python（编程语言）- 维基百科 https://en.wikipedia.org/wiki/Python_(programming_language)

• Python 教程 - W3Schools https://www.w3schools.com/python/

• 学习 Python - 免费交互式 Python 教程 https://www.learnpython.org/

然后我想打开第一个不包含以下单词的结果： [".org", "wikipedia"] 在搜索描述和/或链接中-（因此在这种情况下脚本将打开 w3schools）

我试图用不同的选择器完成工作/并获得整个谷歌搜索页面文档，但到目前为止没有得到积极的结果：

search = driver.find_element_by_name('q') 
search.send_keys("Gran Hotel La Florida G.L Monumento")
search.send_keys(Keys.RETURN) # hit return after you enter search text time.sleep(5)
driver.find_element_by_class_name('LC20lb').click()

这会打开第一个非广告结果。

Answer 1

CSS：

可能类似于以下内容，基于href 排除（也仅限于以http 开头的href 并删除具有.fl 类的那些。:not 伪类传递了一个条件列表-在这种情况下主要是子字符串通过包含运算符排除。

.r [href^=http]:not(.fl,[href*=\.org],[href*=wikipedia])

---

下面的测试用例在多个不同国家/地区的 Google 搜索中进行了测试

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup as bs

d = webdriver.Chrome()
d.get('https://www.google.com/')
d.find_element_by_css_selector('[title=Search]').send_keys('python')
WebDriverWait(d, 5).until(EC.element_to_be_clickable((By.CSS_SELECTOR, '[type=submit]'))).click()
WebDriverWait(d,10).until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'.r')))
soup = bs(d.page_source, 'lxml')
links =  [link['href'] for link in soup.select('.r [href^=http]:not(.fl,[href*=\.org],[href*=wikipedia])')]
print(links)

Answer 2

您可以更新您的选择器以点击所需的链接：

driver.find_element_by_xpath('//h3[@class="LC20lb" and not(contains(text(), "org")) and not(contains(text(), "wikipedia"))]').click()

这将排除包含子字符串 "org" 和 "wikipedia" 的结果