多层次的决策树分类器

Question

我正在尝试对具有多个级别的对象进行分类。我可以用一个例子来解释它的最好方法：

我可以这样做：

from sklearn import tree
features = ['Hip Hop','Boston'],['Metal', 'Cleveland'],['Gospel','Ohio'],['Grindcore','Agusta']]
labels = [1,0,0,0]
clf = tree.DecisionTreeClassifier()
clf = clf.fit(features, labels)

但我想这样做：

from sklearn import tree
features = ['Hip Hop','Boston',['Run DMC','Kanye West']],['Metal', 'Cleveland',['Guns n roses','Poison']],['Gospel','Ohio',['Christmania','I Dream of Jesus']],['Grindcore','Agusta', ['Pig Destroyer', 'Carcas', 'Cannibal Corpse']]
labels = [1,0,0,0]
clf = tree.DecisionTreeClassifier()
clf = clf.fit(features, labels)
clf.predict_proba(<blah blah>)

我试图根据一个人的位置、最喜欢的流派和他们喜欢的其他乐队来分配一个人喜欢乐队的概率。

Answer 1

您有一个简单的解决方案：只需将每个波段转换为二进制特征（您可以使用 MultiLabelBinarizer 或类似的东西）。您的 X 矩阵在将其送入树之前将如下所示：

您可以使用以下代码创建这样的矩阵：

import pandas as pd
features = [['Hip Hop','Boston',['Run DMC','Kanye West']],
            ['Metal', 'Cleveland',['Guns n roses','Poison']],
            ['Gospel','Ohio',['Christmania','I Dream of Jesus']],
            ['Grindcore','Agusta', ['Pig Destroyer', 'Carcas', 'Cannibal Corpse']]]
df = pd.DataFrame([{**{f[0]:1, f[1]:1}, **{k:1 for k in f[2]}} for f in features]).fillna(0)

如果波段数较少，二进制编码就足够了。但如果波段太多，您可能需要降低维度。您可以通过以下步骤完成：

1. 创建用户波段计数矩阵，如上所示
2. （可选）对其进行标准化，例如使用 tf-idf
3. 对其应用matrix decomposition 算法以从矩阵中提取“潜在特征”。
4. 将潜在特征提供给您的决策树（或任何其他估算器）。

如果波段的数量很大，但您的观测值太少，那么即使矩阵分解也可能没有多大帮助。如果是这种情况，唯一的建议是使用更简单的功能，例如用相应的流派替换组。