使用替换令牌的 NLP

Question

我阅读了很多处理不同 NLP 分类任务的文章，我看到它们中的大多数都在预处理部分指定他们使用替换标记：

例如我们删除了 URL、表情符号和标点符号并将其替换为替换标记：<URL>, <EMOJI>, <PUNCT>。

我对这个领域很陌生，我想知道是否有一些特殊的方法来处理这种令牌/标签？是否有必要使用< > 或者这只是一种表示这种替换并帮助分类器找到模式的方式？

任何帮助将不胜感激。

Answer 1

根据我所做的，在预处理部分，人们用数字替换所有标记（字符、词素、单词）。这些替换令牌也不过是数字，<URL> 只是向人类展示它的一种方式。