在 R 中识别粗体的网络链接

Question

以下脚本允许我访问一个包含多个名称相似的链接的网站。我只想得到其中一个，因为它在网站上以 bold 打印，因此可以与其他区别开来。但是，我找不到在列表中选择粗体链接的方法。

有人对此有意见吗？ 提前致谢！

library(httr)
library(rvest)
sp="Alnus japonica"

res <- httr::POST(url ="http://apps.kew.org/wcsp/advsearch.do", 
              body = list(page ="advancedSearch", 
                          AttachmentExist ="", 
                          family ="", 
                          placeOfPub ="", 
                          genus = unlist(strsplit(as.character(sp), split="         "))[1], 
                          yearPublished ="", 
                          species = unlist(strsplit(as.character(sp), split="    "))[2], 
                          author ="", 
                          infraRank ="", 
                          infraEpithet ="", 
                          selectedLevel ="cont"), 
              encode ="form") 
pg <- content(res, as="parsed") 
lnks <- html_attr(html_nodes(pg,"a"),"href")
#how get the url of the link wth accepted name (in bold)?
res2 <- try(GET(sprintf("http://apps.kew.org%s", lnks[grep("id=",lnks)]      [1])),silent=T)
#this gets a link but often fails to get the bold one

Answer 1

在我看来，rvest/httr 可能存在错误，因为<b> 在相关链接上似乎围绕着<a href...>，但在解析后的版本中却没有。

我用过：

library(rvest)
sp=strsplit("Alnus japonica", " ")[[1]]

session <- html_session("http://apps.kew.org/wcsp/advsearch.do")
form <- html_form(session)[[1]]

filled_form <- set_values(form, genus = sp[1], species = sp[2])

out <- submit_form(session, filled_form)

看下面：

out %>% html_nodes(xpath = "descendant-or-self::*") %>% `[`(81:90)
# {xml_nodeset (10)}
#  [1] <p><a href="/wcsp/namedetail.do;jsessionid=F6180417706056852E58C1E290B5087A? ...
#  [2] <a href="/wcsp/namedetail.do;jsessionid=F6180417706056852E58C1E290B5087A?nam ...
#  [3] <i>Alnus</i>
#  [4] <i> japonica</i>
#  [5] <b>\n        </b>
#  [6] <p><a href="/wcsp/namedetail.do;jsessionid=F6180417706056852E58C1E290B5087A? ...
#  [7] <a href="/wcsp/namedetail.do;jsessionid=F6180417706056852E58C1E290B5087A?nam ...
#  [8] <i>Alnus</i>
#  [9] <i> japonica</i>
# [10] <p><a # href="/wcsp/namedetail.do;jsessionid=F6180417706056852E58C1E290B5087A? ...

如您所见，<b> 节点显示为空。但是，当我在 Chrome 上手动输入搜索并 View Source 时，我看到：

<b>
    <p><a href="/wcsp/namedetail.do?name_id=6471" class="onwardnav"><i>Alnus</i><i> japonica</i> (Thunb.) Steud., Nomencl. Bot., ed. 2, 1: 55 (1840).</a>
    </p>
</b>

相关的<a> 介于<b> 和</b> 之间，告诉我它应该是<b> 的子对象，但这是空白：

out %>% html_nodes(xpath = "//b/child::*")

诚然，我不是 xpath 专家，所以我可能在这里搞砸了。希望这对您有所帮助。

Answer 2

首先，获取tidy-html5（它适用于几乎所有东西）并安装它并确保它在您的PATH 中。

正如我的评论所说，浏览器在<p> 之外处理<b>，因为它们需要防弹。 libxml2 没有。所以，我们需要先清理一下（我现在需要制作一个新的tidyhtml 包），然后处理整理后的版本：

library(xml2)
library(httr)
library(rvest)

res <- httr::POST(url ="http://apps.kew.org/wcsp/advsearch.do", 
              body = list(page ="advancedSearch", 
                          AttachmentExist ="", 
                          family ="", 
                          placeOfPub ="", 
                          genus = "Alnus", 
                          yearPublished ="", 
                          species = "japonica", 
                          author ="", 
                          infraRank ="", 
                          infraEpithet ="", 
                          selectedLevel ="cont"), 
              encode ="form") 

tf <- tempfile(fileext=".html")
cat(content(res, as="text"), file=tf)

tidy <- system2("tidy", c("-q", tf), TRUE)

pg <- read_html(paste0(tidy, sep="", collapse=""))

html_nodes(pg, xpath=".//p/b/a[contains(@href, 'name_id')]")

## {xml_nodeset (1)}
## [1] <a href="/wcsp/namedetail.do?name_id=6471" class="onwa ...

如果 XPath 需要 CSS 选择器：

html_nodes(pg, "p > b > a[href*='name_id']")

更新

我为libtidy 启动了一个基本的 pkg 包装器。如果你在 OS X 上使用 Homebrew，你可以这样做：brew install tidy-html5（安装上面的二进制文件和libtidy 库）和devtools::install_github("hrbrmstr/tidyhtml") 安装 pkg。那么，就是：

library(xml2)
library(httr)
library(rvest)
library(htmltidy)

res <- httr::POST(url ="http://apps.kew.org/wcsp/advsearch.do", 
              body = list(page ="advancedSearch", 
                          AttachmentExist ="", 
                          family ="", 
                          placeOfPub ="", 
                          genus = "Alnus", 
                          yearPublished ="", 
                          species = "japonica", 
                          author ="", 
                          infraRank ="", 
                          infraEpithet ="", 
                          selectedLevel ="cont"), 
              encode ="form") 

tidy_html <- tidy(content(res, as="text"))

pg <- read_html(tidy_html)

html_nodes(pg, "p > b > a[href*='name_id']")

我应该能够让它在 Windows 和 linux 上工作，并使其成为一个真正的包（它现在是一个没有错误检查的瘦包装器），但这将在 TODO 上搁置一段时间。