使用 Rvest 抓取 <li> 元素

Question

早上好，

我刚开始使用 R 进行抓取，我很难以有用的方式从网页中抓取元素列表。

这是我的脚本

library(rvest)

url <- read_html("https://www.pole-emploi.fr/annuaire/provins-77070")

webpage <- url %>%
  html_nodes('.zone') %>%
  html_text()
webpage
 

当我运行脚本时，所有元素看起来都挤在一起，中间没有任何空格，这是可以理解的，因为每个项目都包含在一个单独的

标签。

 [1] "77114GouaixHerméNoyen-sur-SeineVilliers-sur-Seine"                                                                                                                                 
 [2] "77118BalloyBazoches-lès-BrayGravon"     

我希望它们像这样（或用逗号分隔）

[1] "77114 Gouaix Hermé Noyen-sur-Seine Villiers-sur-Seine"                                                                                                                                 
[2] "77118 Balloy Bazoches-lès-Bray Gravon"

或者在整洁的格式上更好

 Postal City
 77114  Gouaix
 77114  Hermé
 77114  Noyen-sur-Seine
 77114  Villiers-sur-Seine

我试图在页面中找到其他选择器或 Xpath，但没有成功。我最多只能选择列表中的一个元素。

任何帮助将不胜感激。

提前致谢。

Answer 1

每个列表元素如下所示（为简洁起见被截断）：

<li class="zone">\n<span class="code-postal">77114</span><ul>\n<li>Gouaix</li>\n<li>Hermé</li>\n ...

因此，每个节点都有一组看起来统一的子节点。我们可以定位嵌套的<ul> 中的<span> 和<li> 元素来获得你想要的：

library(rvest)
library(tidyverse)

pg <- read_html("https://www.pole-emploi.fr/annuaire/provins-77070")

html_nodes(pg, ".zone") %>% 
  map_df(~{
    data_frame(
      postal = html_node(.x, "span") %>% html_text(trim=TRUE),
      city = html_nodes(.x, "ul > li") %>% html_text(trim=TRUE)
    )
  }) 
## # A tibble: 95 x 2
##    postal city                 
##    <chr>  <chr>                
##  1 77114  Gouaix               
##  2 77114  Hermé                
##  3 77114  Noyen-sur-Seine      
##  4 77114  Villiers-sur-Seine   
##  5 77118  Balloy               
##  6 77118  Bazoches-lès-Bray    
##  7 77118  Gravon               
##  8 77126  Châtenay-sur-Seine   
##  9 77126  Égligny              
## 10 77134  Les Ormes-sur-Voulzie
## # ... with 85 more rows

具有显式匿名函数的 tidyverse 方法（与 .x 通过公式函数相比）：

html_nodes(pg, ".zone") %>% 
  map_df(function(x) {
    data_frame(
      postal = html_node(x, "span") %>% html_text(trim=TRUE),
      city = html_nodes(x, "ul > li") %>% html_text(trim=TRUE)
    )
  }) 

而且，一个纯基础 R 版本：

elements <- html_nodes(pg, ".zone")
lapply(elements, function(x) {
  data.frame(
    postal = html_text(html_node(x, "span"), trim=TRUE),
    city = html_text(html_nodes(x, "ul > li"), trim=TRUE),
    stringsAsFactors = FALSE
  )
}) -> tmp

Reduce(rbind.data.frame, tmp)

# or

do.call(rbind.data.frame, tmp)