我应该使用哪种聊天文本数据表示来进行用户分类？ [关闭]

Question

我正在尝试训练一个分类器来对来自 2 个用户之间聊天的文本进行分类，以便稍后我可以预测这两个用户中谁更有可能说 X 个句子/单词。为了到达那里，我从聊天日志中挖掘了文本，最后得到了两个单词数组，UserA_words 和 UserB_words。

我必须以哪种格式转换此数组以将其传递给分类器，如 naiveBayes 或 SVM？我如何通过例如一袋词表示到分类器？

Answer 1

您是在询问应该使用哪种 ML 表示来对聊天文本进行用户分类。

词袋和词向量是文本处理中通常使用的主要表示。然而，聊天的用户分类不是通常的文本处理任务，我们寻找指示特定用户的明显特征。 以下是一些：

• 每条评论的字长、字长、句长
• 打字速度（尤其是如果您有以秒为单位的时间戳）
• 标点符号的比率（例如 80 个字符中的 17 个标点符号 = 17/80）
• 大写比例
• 数字的比例
• 空白比例
• 字符 n-gram（注意这些可以提取例如 l0ser, f##k, :-)）
• Unicode 的使用（表情符号、符号，例如星号）
• 特定标点符号的比例（例如，有多少个 '.'、'!'、'?'、'*'、'#'）
• 字数，特别是。任何统计异常
• 您能想到的其他任何东西似乎对这两个用户都有预测性，例如每句拼写错误的单词数（可能是实际的拼写错误，或者来自手机上的预测性滑动）