如何从 Nokogiri 返回选择的短语

Question

我正在尝试解析我正在抓取的site 的 HTML 输出的字符串。

我正在使用：

 officer.race = doc.css("dd").map {|r| r.text.strip}

但这会在第一页输出军官的每个属性：

Rank POLICE OFFICER Race White Hispanic Gender F Number of Photos 0 Rank POLICE OFFICER Race White Gender M Number of Photos 0

等等。

我只需要第一页上所有 20 名军官的种族信息即可提供给我的军官类的种族属性访问器。据我所知，该网站的 HTML 并没有真正让我进一步指定。

有没有办法做到这一点？还是我看错了问题？

Answer 1

我会开始：

require 'nokogiri'
require 'open-uri'

doc = Nokogiri::HTML(URI.open('https://openoversight.lucyparsonslabs.com/department/1'))
doc.search("div.col-md-6.col-xs-6 dt:contains('Race')+dd").map(&:text)
# => ["White Hispanic",
#     "White",
#     "White",
#     "White",
#     "White",
#     "Asian/pacific Islander",
#     "Asian/pacific Islander",
#     "White",
#     "Asian/pacific Islander",
#     "Black",
#     "Black",
#     "White",
#     "White",
#     "Asian/pacific Islander",
#     "White",
#     "White",
#     "White Hispanic",
#     "White Hispanic",
#     "White Hispanic",
#     "White Hispanic"]

div.col-md-6.col-xs-6 是魔法的第一部分。该特定 div 和 class 包含您想要的字段，因此只需在整个页面中抓取它们，因为它是最里面的不同标签。

Nokogiri 包含添加 jQuery 的 CSS 扩展的扩展，让我们可以像使用 XPath 一样使用 CSS。 XPath 仍然更强大，但有时在视觉上也很痛苦，所以我主要使用 CSS。出于同样的原因，Nokogiri 文档推荐使用 CSS。

dt:contains('Race')+dd 然后让 Nokogiri 找到包含“Race”的dt 标签，+ 告诉它抓取下一个包含实际文本的dd 标签。

---

当然，您可能会想要做一些计数：

doc.search("div.col-md-6.col-xs-6 dt:contains('Race')+dd").map(&:text).tally
# => {"White Hispanic"=>5, "White"=>9, "Asian/pacific Islander"=>4, "Black"=>2}

Answer 2

您的选择器不够具体，因此它会选择每个 dd。

.list-group-item > div.row > div:last-child > .row > div:first-child > dl > dd:last-child

您正在寻找遍历.list-group-item，然后到.row，然后到该元素内的最后一个div，然后是子.row，然后是第一个div，然后是dl ，然后是最后一个dd