如何计算具有十个特征的数据集的信息增益和熵？

Question

我有一个 10K 的数据集，我创建了以下十个特征：

• 距离 -（0 或 1）
• IsPronoun -（对或错）
• 字符串匹配 - （真或假）
• 指示 NP -（如果 i 和 j 是指示代词，则为真）
• 数字一致 - （检查 i 或 j 是单数还是复数代词）
• 语义兼容性 -（如果 i 和 j 在语义上兼容）
• 性别一致 - （检查 i 或 j 是男性还是女性）
• IsProperNoun -（查找 i 或 j 是否为专有名词）
• 同位-（查找i是否与j相反）
• 别名 - （查找 i 是否为 j 的别名，反之亦然）

每个特征都有数据集的输出。现在我想做树。但首先，我应该如何计算熵和信息增益？

Answer 1

您可以使用来自 sklearn.feature_selection 的mutual_info_classif，但您需要定义您的目标（依赖）变量。假设您的所有属性都是离散的（名义上的）：

from sklearn.feature_selection import mutual_info_classif
print (mutual_info_classif(X_vec, Y, discrete_features=True))