RASA如何使用日语（Tokennization-Mecab）答案

【问题标题】：RASA how to use Japanese (Tokennization-Mecab)RASA如何使用日语（Tokennization-Mecab）
【发布时间】：2019-03-30 18:54:03
【问题描述】：

众所周知，RASA 是一种有效的机器人框架。 RASA NLU 和 RASA Core 等堆栈非常有用。

我亲自动手，我发现它非常棒，尤其是英文文本。我再次尝试日文文本（spacy 的 Alpha 支持）。我将它与 tensorflow 管道一起使用，我被卡住了，我无法弄清楚如何使用外部标记化，例如 Mecab。

有人体验过吗？？

【问题讨论】：

【解决方案1】：

张量流管道适用于任何空白标记化的语言。由于 Japanse 并非如此，因此您必须构建自己的标记器。

您可以通过扩展类 Tokenizer 和 Component 来做到这一点，例如：

class MecabTokenizer(Tokenizer, Component):

# fill with your code

然后您可以通过在名称中指定模块路径 (also described in the docs) 来在 NLU 管道中使用您的自定义类，例如：

pipeline:
- name: "path.to.MecabTokenizer"
# other components

有人尝试过类似的here，也许你可以使用这个或者采取某种模板。

【讨论】：

【解决方案2】：

我使用 Mecab 标记器添加了一个自定义组件。它适用于我的日文文本。

【讨论】：