用 Hpricot 编写的 Ruby HTML 刮板遇到转义 HTML 的问题

Question

我正在尝试抓取此页面：http://www.udel.edu/dining/menus/russell.html。我使用 Hpricot 库在 Ruby 中编写了一个刮板。

问题：HTML 页面被转义，我需要显示它未转义

example: "M&M" should be "M&M"  
example: "Entrée" should be "Vegetarian Entrée"  

我曾尝试在 Ruby 中使用 CGI 库（不太成功）和通过this Stack Overflow 帖子找到的 HTMLEntities gem。

HTMLEntities 在测试期间有效：

require 'rubygems' 
require 'htmlentities'
require 'cgi'

h = HTMLEntities.new
puts "h.decode('Entrée') = #{h.decode("Entrée")}"

blank = " "
puts "h.decode blank = #{h.decode blank}"
puts "CGI.unescapeHTML blank = |#{CGI.unescapeHTML blank}|"

puts "h.decode '<th width=86 height=59 scope=row>Vegetarian Entr&eacute;e</th> ' = |#{h.decode '<th width=86 height=59 scope=row>Vegetarian Entr&eacute;e</th> '}|"  

正确产生

h.decode('Entrée') = Entrée
h.decode blank =  
CGI.unescapeHTML blank = | |
h.decode '<th width=86 height=59 scope=row>Vegetarian Entr&eacute;e</th> ' = |<th width=86 height=59 scope=row>Vegetarian Entrée</th> |

但是，当我在带有 open-uri 的文件上使用它时，它无法正常工作：

require 'rubygems'
require 'hpricot'
require 'open-uri'
require 'htmlentities'
require 'cgi'
f = open("http://www.udel.edu/dining/menus/russell.html")
htmlentity = HTMLEntities.new
while line = f.gets
  puts htmlentity.decode line
end

错误地产生如下内容：

<th width="60" height="59" scope="row">Vegetarian Entrée</th>

和

<th scope="row"> </th>  // note: was originally '&nbsp;' to indicate a blank

但通过让步正确处理 M&M：

<td valign="middle" class="menulineA">M&M Brownies</td>

我是否错误地处理了转义的 HTML？我不明白为什么它在某些情况下有效，而在其他情况下无效。

我正在运行 ruby​​ 1.8.7 (2009-06-12 patchlevel 174) [i486-linux]

感谢任何帮助/建议。谢谢。

Answer 1

HTMLEntities 似乎可以工作，但您遇到了编码问题。您正在打印的终端可能已针对脚本输出的 utf-8 字符设置了拉丁字符集和 barfs。

你在什么环境下运行 ruby​​ ？

'&' 正确显示的原因是它是一个 ascii 字符，因此在大多数编码中都将显示相同的字符。问题是它不应该单独出现在 xml 文档中，并且在您输入解码后可能会出现问题文件到 hpricot。我相信正确的方法是使用 hpricot 进行解析，然后将您从文档中提取的内容传递给 HTMLEntity。