假设您有 3 类球：红色、绿色和蓝色。
出现任何彩色球的几率是红色 = 4/10，蓝色 = 3/10，绿色 = 3/10
错误分类红色的计算方法为 4/10*(3/10 + 3/10) 或选择“真实类别”*“错误类别”的几率。
为什么你用乘法而不是加法来找出选错红球的几率？我知道基尼杂质方程将这个基本思想推广到所有具有 N 个点和每个类的 Ni 数据点的 C 类。我想我忘记了我的基本概率直觉。
【问题讨论】：
标签： math machine-learning probability decision-tree
一个球是red 的概率是0.4。只有当红球实际上是红球时，你才会误认为红球。
假设猜测是精确地基于球的概率分布[注1]，那么猜测蓝色的概率为0.3，同样猜测绿色的概率为0.3。如果球真的是红的，这些都是错误的猜测，因为唯一可能的猜测是正确的。
如果两个事件是独立的，则它们都发生的概率（P 和 Q）是它们概率的乘积。如果两个事件相互排斥，则其中一个事件发生的概率（P 或 Q）是它们的概率之和。
所以一个球是红色和被错误分类（蓝色或绿色）的概率是 0.4 * (0.3 + 0.3)。
为此，我们必须添加蓝色球被错误分类为红色或绿色的概率 (0.3 * (0.4 + 0.3)) 和绿色球被错误分类为蓝色或红色的概率 (0.3 * ( 0.3 + 0.4)) 总共 0.66。这非常接近 2/3 的最大值（当所有概率都相等时）。
这里我根据definition of Gini impurity from Wikipedia来回答：
基尼杂质是衡量一个从集合中随机选择的元素被错误标记的频率，如果它是根据子集中标签的分布随机标记的。
【讨论】：