R：URL 上的 readLines 导致缺少行

Question

当我在URL 上readLines() 时，我会丢失行或值。 This might be due to spacing that the computer can't read.

当您使用上面的 URL 时，CTR + F 会找到 38 个与“TV-”匹配的文本实例。另一方面，当我运行 readLines() 和 grep("TV-", HTML) 时，我只找到 12 个。

那么，如何避免编码/间距错误，以便获得完整的 HTML 行？

Answer 1

您可以使用rvest 来抓取数据。例如，要获取您可以做的所有标题：

library(rvest)

url <- 'https://www.imdb.com/search/title/?locations=Vancouver,%20British%20Columbia,%20Canada&start=1.json'
url %>%
  read_html() %>%
  html_nodes('div.lister-item-content h3 a') %>%
  html_text() ->  all_titles

all_titles

# [1] "The Haunting of Bly Manor"               "The Haunting of Hill House"             
# [3] "Supernatural"                            "Helstrom"                               
# [5] "The 100"                                 "Lucifer"                                
# [7] "Criminal Minds"                          "Fear the Walking Dead"                  
# [9] "A Babysitter's Guide to Monster Hunting" "The Stand"   
#...                 
#...