【发布时间】：2015-03-27 01:04:51
【问题描述】：
我是数据挖掘的新手。 我想做一些数据挖掘，而数据不是英文的，它们是日文或中文的。
数据挖掘是否支持这些语言？ 如果是，我们如何实现？任何工具和博客。
如果您能提供帮助，不胜感激。
【问题讨论】：
标签： data-mining mahout
【发布时间】：2015-03-27 01:04:51
【问题描述】：
答案和往常一样：是和不是。
虽然实际上没有理论问题，但亚洲语言存在一些实际问题。一个典型的文本数据挖掘管道包括
- 词干（运行 -> 运行）
- 删除停用词（a、the、...）和其他无用的词
- 扩充步骤，例如短语检测
- 标记化
- 转换成词袋 (Hello World, Hello Japan -> (Hello:2, World:1, Japan:1) 计算每个词的频率。
- 应用您最喜欢的文本挖掘技术，例如 LDA 或 SVM
在某些亚洲语言中，第一步和第四步实际上是一个问题。用欧洲语言，尤其是英语。英语中的单词以空格开头，以空格结尾。在某些亚洲语言中，如果不了解句子的含义，就无法将字符序列标记为单词。事实上，在某些语言中，这非常困难。 （参见关于标记化的 Wiki 标记化对于以连续脚本编写的语言来说尤其困难，这些语言没有单词边界，例如古希腊语、汉语 [1] 或泰语。）
词干化也可能会带来问题。在英语中，它非常好理解。在其他语言中，这取决于。
如果你能解决这两个问题，你也可以将典型的文本挖掘技术应用于亚洲语言。
【讨论】：