R中的文本挖掘 - 如何从文本分析中排除完整的短语/句子

Question

我正在对一项调查进行大约 160 条单独的回复。在清理之后，我运行了 R 代码来生成一个简单的 wordcloud 和一些敏感性分析。 但是，分析包括要求受访者完成的模板中的所有文本，例如介绍性文本、说明、姓名、公司、地址，以及所有部分标题和提出的问题。 由于所有这些模板文本都将针对 160 个响应中的每一个重复，因此会扭曲响应中单词的频率。 R 中是否有一种方法不仅可以排除单个单词（根据停用词或创建 mystopwords），还可以从分析中排除完整的句子或短语，以便模板中的所有文本都可以被忽略并且不包含在响应集中？ 由于保密，我无法分享回复，但我可以分享包含我希望从分析中排除的所有文本的空白模板，可在https://www.economy-ni.gov.uk/energy-strategy-call-for-evidence 获得。

R 中的虚拟数据：

[50] “2. 北爱尔兰的能源”
[51] “Q1。在解决能源问题方面，我们可以从其他地方学到什么教训”
[52]“总体气候行动框架？”
[53]“Q2。北爱尔兰能源脱碳的主要考虑因素是什么”
[54] “与其他司法管辖区现有联系的部门？”
[55] 《Q3.北爱尔兰应在多大程度上实施关键能源相关》
[56] “CCC‘减少北爱尔兰排放’的建议”
[57] “报告？”
[58]“Q4。你同意30年的时间框架吗？如果不同意，请说明你的首选”
[59]《方法与理由》。
[60] “受访者回复文字 xxxxxxxx blahblahvlahblah”
[61] “3. 北爱尔兰的能源转型”
[62]《Q5.北爱尔兰有哪些独特的特色需要》
[63] “是否考虑过净零碳能源转型？”
[64]“Q6.贵组织是否正在开展或计划开展支持项目”
[65]“能源转型？如果是，请提供更多细节。”
[66] “受访者回复文本 xxxxxxxx blahblahvlahblah”

在这个数据子集中，我希望排除第 50 到 59 行和第 61 到 65 行中的标准文本，因为它们在所有响应中都包含相同的文本，即所有响应中的每一行每次都以相同的文本开头.

以响应者响应文本开头的行只是用于说明目的的虚拟数据，并且每次响应一个部分/问题时都会有所不同。在此示例中，我将寻求将文本保留在第 60 行和第 66 行中以进行分析。

要排除的标准文本在每个响应/文件中并不总是相同的行号。这是由于响应运行在多行上造成的。

谢谢 斯蒂芬

Answer 1

不确定你想要的部分是否总是以'Respondent ...'开头，但如果是这样，你可以做一些简单的事情，比如

library(tidyverse)

df %>% 
filter(str_starts(your_data_column, 'Respondent'))

Answer 2

这是解决您的文本挖掘问题的初步方法（最初考虑到定义规则的困难）。

首先，一些数据（注意我添加了更多的响应字符串）：

x <- c("2. Energy in Northern Ireland",
       "Q1. What lessons can we learn from elsewhere in addressing energy within an",
       "overarching climate action framework?",
       "Q2. What are the key considerations for decarbonising Northern Ireland’s energy",
       "sector given existing linkages to other jurisdictions?",
       "Q3. To what extent should Northern Ireland implement the key energy-related",
       "recommendations from the CCC ‘Reducing Emissions in Northern Ireland’",
       "report?",
       "Q4. Do you agree with the 30-year timeframe? If not, please state your preferred",
       "approach and reasons.",
       "Respondent response text xxxxxxxx blahblahvlahblah",
       "blahblablah and so on",
       "3. The Energy Transition in Northern Ireland",
       "Q5. What are the unique characteristics of Northern Ireland that need to be",
       "considered in a net zero carbon energy transition?",
       "Q6. Is your organisation undertaking or planning to undertake projects to support",
       "the energy transition? If so, please provide further details.",
       "Respondent response text xxxxxxxx blahblahvlahblah",
       "blah blah blah and so on",
       "some more blah blah")

现在的解决方案首先将字符串与paste 粘贴在一起，然后使用gsub 删除出现在（标题）数字和? 之间的部分以及以If 开头的句子：

trimws(gsub("\\d.*\\?|If.*\\.", "", paste(x, collapse = " ")))

结果：

[1] "Respondent response text xxxxxxxx blahblahvlahblah blah blah blah and so on some more blah blah"

这对你有帮助吗？