高维文本分类,高效方法

Question

我们的问题的一个子样本如下。

我们有 1600 个地址位置可供机器学习查找。 我们的训练数据形式为

City Subdivision District number1-number2-number3

我们有显示城市分区的官方数据

London Chelsea Kensington 2-3-15
London Chelsea Kensington 4-3-15
London Chelsea Battersea  3-4-2
London Greenwich Charlton 4-3-15
London Greenwich Coldharbour 1-2-1

我们有 10K 个这样的样本。

所以我们的训练数据是 10K。

Training Data

----------


Label      | Features

Kensington | London Chelsea Kensington 5-1-1

Kensington | London Chelsea Kensington 4-3-15

Battersea  | London Chelsea Battersea  5-1-1

Battersea  | London Chelsea Battersea  4-2-1

Charlton   | London Greenwich Charlton 5-1-1

Coldharbour| London Greenwich Coldharbour 5-1-1


----------

将数字视为地址编号。所以不是独一无二的，不是一个显着的特征。

我们需要猜测的是

----------


Chelsea Kensington 5ｰ1ｰ1 sea harbor = Kensington ( sea harbor some additional items which can exist in other addresses 
and can mislead our algorithms)

Kensington 5ｰ1ｰ1  =  Kensington ( Think 5-1-1 exists for lots of addresses and some algorithms (Bayes or Decision Trees)guess this as another address with 5-1-1 Charlton)

Kensington 5      =  Kensington ( One might think since it has only Kensington it will gues Kensington but if there is an address
as  xxx 5 5 5 Bayes thinks it is xxx )


----------

人们会立即说这需要 ngram。但是 ngrams 匹配 非常不相关的条目很有可能。使用 Ngram2 或 Ngram3 的贝叶斯可以找到很多正确的匹配项，但他们也声称错误结果的概率为 99。

我尝试过贝叶斯、决策树、随机森林...... OnevsRest 从未在如此高的维度上完成。

多层感知器未完成 12K 特征空间。 出现内存不足错误。

我将维度减少到 3000，但即使这样也没有看到结果。

SVM 不适用，因为它是多类的。

总结一下：

我的训练数据非常简单，不包含太多信息。 （一个地方所有地址的列表） 问题是高维的。（1600个区）

我的可能数据可能是看不见和不可预测的。有一些 输入错误。

我正在考虑做一些 PCA(SVD)，然后是多层感知器 或 CNN。

但想想我有 1600 节课的 12000 个词汇。 不知道有没有降维的意思 对于这个问题。

那么有人曾经解决过这样的问题吗？

Answer 1

为什么不简单地删除所有非字母（包括数字）和可能的停用词？到那时，如上所示的问题就变成了：当你看到Set A 的某个子集时，返回B。 { A -> `B' }

示例（去除非字母后）：

{ London Chelsea Kensington } -> { Kensington}

所以我也假设：

{ Chelsea Kensington } ->  { Kensington}

 { Kensington } ->  { Kensington}

没有任何进一步的要求，只要通过Set of Sets 解决。一个简单的解决方案是将要预测的新集合与所有标记集合的交集进行比较，并找到“赢家”。如果您有很多集合，那么您将希望拥有一个由 Trie 的术语组成的森林 - 代表集合的成员 - 以帮助使搜索易于处理