【发布时间】:2013-03-01 21:22:40
【问题描述】:
如果我在 java 中有一个字符串,我如何确定它属于哪种语言? Unicode 规范允许我们这样做吗?
【问题讨论】:
-
哇,您的意思是要确定
.属于哪种语言?祝你好运 :-) 我希望你更喜欢“可能的语言”的有序列表
如果我在 java 中有一个字符串,我如何确定它属于哪种语言? Unicode 规范允许我们这样做吗?
【问题讨论】:
. 属于哪种语言?祝你好运 :-) 我希望你更喜欢“可能的语言”的有序列表
Unicode 字符串中没有元数据来指定字符串使用的语言,如果字符串甚至是单词或短语的话。
根据字符串中包含的字符,您或许能够猜出所使用的语言。例如,Unicode 范围 30A0–30FF 表示日文片假名字符。因此,如果您的大部分字符串由该范围内的字符组成,您可以有根据地猜测它是日语。不过,这根本不可靠。例如,如果只是随机的片假名字符呢?
为了可靠的语言检测,我会放弃所有使用 Unicode 作为语言检测基础的想法,而专注于语言识别算法。
【讨论】: