抓取动态信息

Question

我最近开始使用编码，我使用 Python 和 Pycharm。我安装并导入了所需的“附加组件”，例如 Selenium。
对于我的第一个项目，我尝试从该网站获取“地址”信息：

https://randomstreetview.com/#fullscreen

当我使用 Chrome 开发人员工具 (F12) 时，信息显示在 div'address' 之后。经过大量的反复试验，我设法以多种方式抓取了网站，但 div 后面没有出现任何内容。
由于我查了一下，认为它是动态信息，所以我开始尝试使用 Selenium 和我在网上找到的其他代码。
没有任何效果，或者我无法使其正常工作。
每次打开网站时地址都会更改，但位置保持不变（afaik）。
任何人都可以帮助我提供工作代码或帮助我走上正确的道路吗？
我可以提供不同的方法，但我认为这不会有帮助。

Answer 1

如果你想要元素的地址，只需获取元素并打印它的文本。

driver.get("https://randomstreetview.com/")
wait = WebDriverWait(driver, 10)
elem = wait.until(EC.presence_of_element_located((By.ID, "address")))
print(elem.text)

元素

<div id="address">Nordre Ringvej 97, 2600 Glostrup, Dänemark</div>

输出

Nordre Ringvej 97, 2600 Glostrup, Dänemark

进口

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait 
from selenium.webdriver.support import expected_conditions as EC

Answer 2

捎带 Arundeep Chohan 的回答。无法获取地址的原因是它是隐藏元素。

看看这篇文章 Python Selenium: Finds h1 element but returns empty text string

TLDR; "text 属性允许您仅从可见元素中获取文本，而 textContent 属性还允许获取隐藏元素的文本..."

此代码也适用于 CSS 选择器

element = WebDriverWait(driver,10).until(EC.presence_of_element_located((By.CSS_SELECTOR, 'div#address')))

print(element.get_attribute('textContent'))

Answer 3

要打印 文本 value，您可以使用以下任一 Locator Strategies：

• 使用id 和get_attribute("textContent")：

  driver.get("https://randomstreetview.com/#fullscreen")
  print(driver.find_element_by_id("address").get_attribute("textContent"))
  

• 使用css_selector 和get_attribute("innerHTML")：

  driver.get("https://randomstreetview.com/#fullscreen")
  print(driver.find_element_by_css_selector("div#address").get_attribute("innerHTML"))
  

• 使用xpath和text属性：

  driver.get("https://randomstreetview.com/#fullscreen")
  print(driver.find_element_by_xpath("//div[@id='address']").text)  
  

---

理想情况下，您需要为presence_of_element_located() 诱导WebDriverWait，您可以使用以下任一Locator Strategies：

• 使用ID 和get_attribute("textContent")：

  print(WebDriverWait(driver, 20).until(EC.presence_of_element_located((By.ID, "address"))).get_attribute("textContent"))
  

• 使用CSS_SELECTOR和text属性：

  print(WebDriverWait(driver, 20).until(EC.presence_of_element_located((By.CSS_SELECTOR, "div#address"))).text)
  

• 使用XPATH 和get_attribute()：

  print(WebDriverWait(driver, 20).until(EC.presence_of_element_located((By.XPATH, "//div[@id='address']"))).get_attribute("innerHTML"))
  

• 控制台输出：

  value
  

• 注意：您必须添加以下导入：

  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.common.by import By
  from selenium.webdriver.support import expected_conditions as EC
  

• 控制台输出：

  Ciudad Pérdida 10, La Sabana, 39799 Acapulco, Guerrero, Mexico
  

您可以在How to retrieve the text of a WebElement using Selenium - Python找到相关讨论

---

参考

链接到有用的文档：

• get_attribute() 方法 Gets the given attribute or property of the element.
• text 属性返回 The text of the element.
• Difference between text and innerHTML using Selenium