为什么 Selenium Web Driver 找不到一些 cssSelector？

Question

我正在做一些网络抓取，我在http://selectorgadget.com/ 找到了似乎是最好的工具。我遇到的问题是，当我在 Java 中使用 Selenium Web Driver 时，它发现的结果数量与选择器小工具不同。我认为这是正在生成的 CSS 选择器的问题。我不确定问题出在 Selenium 还是选择器小工具上。

这是我正在使用的 2 个不同的 CSS 选择器，它们都应该产生相同数量的结果。

Title: #page-content a:nth-child(1) span
Price: td~ td+ td > div:nth-child(1)

这是我的控制台输出，注意错误的 URL：

Category hrefList Initialized
http://www.monoprice.com/Category?c_id=109&cp_id=10910
Titles: 10
Prices: 10
http://www.monoprice.com/Category?c_id=122&cp_id=12212
Titles: 19
Prices: 17
BAD: http://www.monoprice.com/Category?c_id=122&cp_id=12212
http://www.monoprice.com/Category?c_id=117&cp_id=11709
Titles: 4
Prices: 4
http://www.monoprice.com/Category?c_id=109&cp_id=10912
Titles: 2
Prices: 2
http://www.monoprice.com/Category?c_id=117&cp_id=11708
Titles: 9
Prices: 9

我一直在尝试对此进行调试，据我所知，我目前使用的 CSS 选择器正在尽我所能，但我仍然有页面会导致丢失项目。我认为有时唯一失败的部分是价格抢夺，但我确实需要运行一个完整的站点测试并发现它在任何地方抢夺标题都失败了。我知道有些价格不会列出，因为它们缺货，但是选择器小工具也没有问题找到这些字段，但网络驱动程序可以。

webdriver 中是否有任何限制导致此问题，是否有更好的工具可用于生成我的 css 选择器以更好地与 webdriver 配合使用？

编辑：只是想提一下，我之前也使用过 JSoup。我不确定是否有人知道尝试此任务的 webdriver 和 JSoup 之间是否存在差异。

Answer 1

标题，在cssSelector下面使用

div.row>a[href$="format=2"] >span 

对于价格，请在 cssSelector 下方使用

div.text-red

对于 Webdriver，使用下面的代码

driver.get("http://www.monoprice.com/Category?c_id=122&cp_id=12212");
Thread.sleep(4000);

List<WebElement> elements =  driver.findElements(By.cssSelector("div.row>a[href$='format=2'] >span "));

System.out.println("title size is "+elements.size());

 List<WebElement> elements1 =  driver.findElements(By.cssSelector("div.text-red, div.row>a[href$='notify'] "));

System.out.println("price size is "+elements1.size());

我在自己的机器上运行这段代码，它会返回正确的结果。