如何根据 R 中的 url 拆分字符行

Question

如何根据 url 拆分字符行？我在数据框中有一列，其中每一行的文本超过 200-300 行，并包含一堆 url、特殊字符和数字等。我正在尝试清理此列。

最初的想法是从整列中删除停用词和标点符号，但这会弄乱文本中现有的网址。

因此，第二种方法是将文本拆分为多个列，其中拆分发生在每个 url。与此相关的一个后续问题是，每行中的 url 位置是否不同，因此仍然难以仅清理文本？

这里是示例文本：

sample_text <- "Random text](https://random_url.com/image.png) --- more random text : - !!!!! (Numbers in the middle, versions 4.3.2.1 more random text ) [] --- //// more and more random text for another 300 lines. Line1 has some useful text , line 2 has a url, https://rstudio.com/maybe_has_some_version_files/2/image.png [ #] and continues for another 299 lines."

我确实尝试了 strsplit()，但它从文本中删除了 url。

url_pattern <- "http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*,]|(?:%[0-9a-fA-F][0-9a-fA-F]))+|\\)$"  
split_string_1 <-  strsplit(sample_text, url_pattern, perl = TRUE)

预期的输出应该是： 将字符串拆分为多列。

所以我的问题分为两部分：

1. 如何拆分字符串并保留url？
2. 如何拆分字符串并为每个拆分创建新列？

编辑：

是的，我不想要新列，而是希望清理文本并将 URL 保留在其位置。

问题是：

• 如何拆分字符串、清理其余文本而不弄乱 URL 并保留 URL 在文本中的位置？

Answer 1

假设每行包含 2 个 URL（否则你不能将它们存储在标准数据框中，因为每行需要不同数量的列），你只需要找到字符串“http(s)”的位置"，并在该位置拆分字符串。

对于此类任务，基本 R 函数 gregexpr() 和 regexec() 非常适合。例如：

gregexpr("https?", sample_text)
#> [[1]]
#> [1]  14 247
#> attr(,"match.length")
#> [1] 5 5
#> attr(,"index.type")
#> [1] "chars"
#> attr(,"useBytes")
#> [1] TRUE

这是一个列表，如果sample_text 有多个元素，它将包含多个元素。第一个条目包含“http(s)”子字符串的起始位置。那么你只需使用substr() 来提取新列：

match_pos <- gregexpr("https?", sample_text)

# column 1
purrr::map2(sample_text, match_pos, ~ substring(.x, 1, .y[2]-1))
# column 2
purrr::map2(sample_text, match_pos, ~ substring(.x, .y[1], .y[2]-1))
# column 3
purrr::map2(sample_text, match_pos, ~ substring(.x, .y[2]))

请注意，我可以在这里对三列进行硬编码，因为必须始终保持相同的数字。

编辑：如果目标是实际提取 URL，则可以采用相同的方法。这里将结果保存在列表中：

sample_text <- "Random text](https://random_url.com/image.png) --- more random text : - !!!!! (Numbers in the middle, versions 4.3.2.1 more random text ) [] --- //// more and more random text for another 300 lines. Line1 has some useful text , line 2 has a url, https://rstudio.com/maybe_has_some_version_files/2/image.png [ #] and continues for another 299 lines."

match_pos <- gregexpr("https?://[[:alnum:]\\.\\-_\\/]+", sample_text)

url_starts <- lapply(match_pos, function(x) {attributes(x) <- NULL;x})
url_lengths <- lapply(match_pos, function(x) attr(x, "match.length"))
url_ends <- purrr::map2(url_starts, url_lengths, ~ .x+.y)

url_texts <- purrr::pmap(list(sample_text,url_starts, url_ends),
                             function(t,s,e) purrr::map2_chr(s,e, ~substr(t,.x,.y-1)))

url_texts
#> [[1]]
#> [1] "https://random_url.com/image.png"                            
#> [2] "https://rstudio.com/maybe_has_some_version_files/2/image.png"

^{由reprex package (v0.3.0) 于 2020-12-09 创建}