为什么我在使用 Nokogiri “搜索”时会得到错误的输出？

Question

我想从 CarFax 报告的特定 div 中抓取数据。但是，当我搜索 div 时，我总是得到这个奇怪的垃圾输出。

我尝试了search(#divId)、search(.divClass)，甚至尝试使用search('div') 抓取所有div。每次我得到类似的结果：div的内容被部分截断，标签都乱七八糟。

这是我正在加载到我的agent 中的 URL：https://gist.github.com/atkolkma/8024287

这是代码（用户和密码省略）：

require "rubygems"
require "mechanize"

scraper = Mechanize.new
scraper.user_agent_alias = 'Mac Safari'
scraper.follow_meta_refresh = true
scraper.redirect_ok = true

scraper.get("http://www.carfaxonline.com")
form = scraper.page.forms.first
form.j_username = "******"
form.j_password = "*****"
scraper.submit(form)

scraper.get("http://www.carfaxonline.com/api/report?vin=1G1AT58H697144202&track=true")

puts scraper.page.search("#headerBodyType")

这是我运行文件时返回的内容：

</div>4 DRderBodyType">

我的期望是：

<div id="headerBodyType"> SEDAN 4 DR </div>

最奇怪的是，如果我复制 HTML 源代码，将其另存为新文件，上传并search 它，我会得到正确的输出！我已将复制的 HTML 上传到我的 chevy-pics dot com 域并运行以下代码：

scraper2 = Mechanize.new

scraper2.get("http://www.chevy-pics.com/test.html")

puts scraper2.page.search("#headerBodyType")

正如预期的那样，我得到了这个作为输出：

<div id="headerBodyType"> SEDAN 4 DR </div>

Answer 1

我可以通过将编辑器中的文件的行尾更改为 Mac OS 9 来重现这一点，它使用单个 \r (carriage return) 字符。当您在结果字符串上使用puts 时，每次看到此字符时控制台都会返回到行首，但不会开始新行。因此，每一行都会覆盖之前的内容，最终您看到的输出已损坏。

您应该能够通过使用p 而不是puts 来判断是否是这种情况。您应该会看到类似"<div id=\"headerBodyType\">\r SEDAN 4 DR\r </div>" 的输出。注意用作换行符的 \r 字符。

您从查询中获得的实际结果是正确的，它只是显示导致问题的原因。解决方案可能只是在文本上使用gsub 将\r 转换为更正常的\n。我不知道执行此操作的最佳位置，也许可以在 Mechanize 将其交给 Nokogiri 进行解析之前更改整个文档，但我不知道您会怎么做。

您可能只需要更改您获得的任何结果，作为开始尝试：

puts scraper.page.search("#headerBodyType").to_s.gsub("\r", "\n")