使用 Selenium Webdriver 使用 javascript 呈现的表格抓取网页

Question

the source html of the page i am trying to scrape

我正在尝试使用 Selenium Webdriver 抓取使用某些 javascripts 呈现的 webtable

driver.get("http://xxxxx:xxxxxxxx@xxxxxx-
xxxxxx.grid.xxxxxx.com/Windchill/app/#ptc1/comp/queue.table");
driver.manage().timeouts().implicitlyWait(20, TimeUnit.SECONDS);
List<WebElement> k=driver.findElements(By.xpath("//*[@id='queue.table']"));
System.out.println(k.size());
System.out.println(k.get(0).getText());

k.size() 返回 1 当我运行获取文本时，它只返回表中的一些条目

Actual table and entries the total rows are 135

运行后我得到如下

              Queue Management
 Loading...

 Name
 Type
 Status
 Enabled
 Group
 Total Entries
 Waiting Entries
 Severe/Failed Entries
 DeleteCompletedWorkItemsQueu e
 Process
 Started
 Enabled
 Default
 0
 0
 0
 DeliveryStatusOnStartup
 Process
 Started
 Enabled
 Default
 0
 0
 0
 DTODeliverablesQueue
 Process
 Started
 Enabled
 Default
 0
 0
 0
 DTOOffPeakQueue
 Process
 Started
 Enabled
 Default
 0
 0
 0
Loading.........

我得到了 25 个表格条目，其余的不存在 我无法理解为什么我会收到“正在加载.....”

Answer 1

我认为通过使用List<WebElement> k=driver.findElements(By.xpath("//*[@id='queue.table']"));，我们正在尝试制作一个列表，其中包含太多不需要的项目。相反，我觉得在包含缩进值的<td> 标记中获取节点并保存到列表中会很有效。接下来我们可以遍历列表并使用getText() 方法或getAttribute() 方法来检索文本，如下所示：

driver.get("http://xxxxx:xxxxxxxx@xxxxxx-xxxxxx.grid.xxxxxx.com/Windchill/app/#ptc1/comp/queue.table");
driver.manage().timeouts().implicitlyWait(20, TimeUnit.SECONDS);
List<WebElement> k = driver.findElements(By.xpath("//*[@id='queue.table']//tr"));
System.out.println(k.size());
for (WebElement my_element:k)
    {
        String innerhtml = my_element.getAttribute("innerHTML");
        System.out.println("Value from Table is : "+innerhtml); 
    }