R 中的 RandomForest 非常方便地接受输入 (X) 的因子。我假设这使得构建树变得更容易，如果从具有值 (a,b,c) 的因子变量中，您可以构建一个拆分为 (a,c) 和 (b) 的节点。在 sklearn 中，我需要将所有内容编码为虚拟对象 (0,1)，以便丢失 a、b、c 向量之间的任何关系。
我的解释是否正确，sklearn 中有没有办法链接输入向量？
如果我将变量编码为 (0,1,2)，我还假设 sklearn 会将其解释为 0 和 1 彼此接近，因此它会寻求（例如）拆分 [0,1]与 [2]。
【问题讨论】：
标签： python r machine-learning scikit-learn random-forest
Scikit-learn 确实不支持分类特征而不将它们编码为数字。此外，您假设 sklearn 会解释
因为 0 和 1 彼此靠近，因此它会寻找（例如）a 拆分 [0,1] 与 1
是正确的。在某些情况下，这并不一定意味着与 One Hot Encoding 相比，此编码的性能更差。许多人必须在数据上进行尝试。
如果你想坚持使用python，你有三个选择：
【讨论】：
考虑具有三个值a、b、c的因子和对应的one-hot编码：
factor a b c
-------- ---------
a 1 0 0
b 0 1 0
c 0 0 1
分解因子有三种可能：
f: a | b c
f: b | a c
f: c | a b
共有三个虚拟变量，每个变量都有一个可能的拆分。这又导致了三种可能的拆分方式：
a: 1 | 0
b: 1 | 0
c: 1 | 0
例如，在1 | 0 中拆分变量a 等价于在a | b c 中拆分因子f。因子和 one-hot 编码之间存在精确的对应关系。关系不会丢失，也不需要显式链接输入向量。
但是，将因子值 (a, b, c) 编码为数字 (0, 1, 2) 会失去表达能力：拆分这些数字只有两种方法：0 | 1 2 和 0 1 | 2。所以单个节点不能用这种编码表示分裂b | a c。
最后，有一个小问题。在寻找最佳分割时，只考虑给定数量的max_features 特征（默认值：sqrt(n_features)）。如果该因素被包括在内，则评估所有拆分。在 one-hot 编码中，可能不会评估一个因子的所有拆分，因为每个虚拟变量都是单独选择的。这可能会对生成的树木产生影响，但我不知道这可能会变得多严重。
【讨论】：