如何获取 Javascript 生成的内容答案

【问题标题】：How to get Javascript generated content如何获取 Javascript 生成的内容
【发布时间】：2020-07-08 06:14:28
【问题描述】：

我目前在此 (https://aca3.accela.com/MILARA/GeneralProperty/PropertyLookUp.aspx) 网页上获取 javascript 生成内容的 HTML 时遇到问题。它在页面本身上生成 javascript。我想知道我做错了什么。我使用的代码是这样的：

import time
from selenium import webdriver
from selenium.webdriver.support.ui import Select
from selenium.webdriver import ActionChains
from selenium.webdriver.common.keys import Keys
import selenium.webdriver.support.ui as ui
from bs4 import BeautifulSoup
driver = webdriver.Chrome(executable_path="/Users/MrPete/Downloads/chromedriver_win32/chromedriver")
driver.get('https://aca3.accela.com/MILARA/GeneralProperty/PropertyLookUp.aspx')

profession = Select(driver.find_element_by_xpath('//*[@id="ctl00_PlaceHolderMain_refLicenseeSearchForm_ddlLicenseType"]'))
profession.select_by_value("Pharmacist")
time.sleep(5) # Let the user actually see something!
lName = driver.find_element_by_xpath('//*[@id="ctl00_PlaceHolderMain_refLicenseeSearchForm_txtLastName"]')
lName.send_keys('roy')
search = driver.find_element_by_xpath('//*[@id="ctl00_PlaceHolderMain_btnNewSearch"]')
search.click()
time.sleep(5)
html = driver.execute_script("return document.getElementsByTagName('table')[38].innerHTML")
print(html)

现在，我没有得到任何输出，我得到的输出是：

<tbody><tr>
                                        <td style="white-space:nowrap;"><span class="ACA_SmLabel ACA_SmLabel_FontSize"> Showing 1-13 of 13 </span></td>
                                </tr>
                        </tbody>

这是（有点）我想要获得的表格的标题。我想要的输出是整个表格的 HTML（发布了一张由 javascript 生成的表格的图片。我目前得到的是图片顶部的小标题，“显示 1-13 13'，我想要的是整张桌子。

【问题讨论】：

那么你想要的输出到底是什么？
@Jackfleeting 我澄清了我想要的输出——整个表格不仅仅是那个“标题”（它真的是一个跨度标签）

标签： python-3.x selenium selenium-webdriver web-scraping beautifulsoup

【解决方案1】：

尝试改变

html = driver.execute_script("return document.getElementsByTagName('table')[38].innerHTML")
print(html)

收件人：

target = driver.find_element_by_xpath('//table[@class="ACA_GridView ACA_Grid_Caption"]')
print(target.text)

输出：

Showing 1-13 of 13
License Type
License Number
First Name
Middle Initial
Last Name
Organization Name
DBA/Trade Name
License Status
License Expiration Date
Pharmacist
5302017621
Arthur
James

等等

【讨论】：