Find-S/Candidate Elimination 算法的最小训练示例数？答案

【问题标题】：Minimum number of training examples for Find-S/Candidate Elimination algorithms?Find-S/Candidate Elimination 算法的最小训练示例数？
【发布时间】：2010-05-02 23:26:31
【问题描述】：

考虑由 x, y 平面中的整数点组成的实例空间，其中 0 ≤ x, y ≤ 10，以及由矩形组成的假设集（即形式为 (a ≤ x ≤ b, c ≤ y ≤ d)，其中 0 ≤ a, b, c, d ≤ 10)。

为了让 Find-S 算法完美地学习特定目标概念（例如 (2 ≤ x ≤ 4, 6 ≤ y ≤ 9)），需要提供的最小训练示例数是多少？在 Find-S 算法的情况下，什么时候可以说目标概念是准确学习的，最优查询策略是什么？

我也想知道关于候选人淘汰的答案。

提前致谢。

【问题讨论】：

我明白你为什么要问。我猜这违反了发布规则？这实际上是来自 Tom Mitchell 的机器学习一书中的一个问题，但在文本中的任何地方都没有提供解决方案。

标签： search artificial-intelligence machine-learning

【解决方案1】：

你需要两个正面的例子：(2,6) (2

通过候选消除，我们需要给出负样本来构建 G 集。我们需要四个反例来定义矩形的四个边界：

G 开头为 (-Inf

加上 (3,5)- 我们得到假设：

(-Inf

加 (3,10)-

(-Inf

加 (1,7)-

加 (5,7)-

所以现在 S=G={(2

这是输入训练示例的最佳顺序。最坏的顺序是先做 G 集，因为您将创建四个不同的候选假设，它们将与第二个示例合并为三个，然后与第三个示例合并为一个。用 Mitchell 书中的树来说明 C-E 很有用，也许还可以在每个旁边画出假设图。

这个答案在这里得到确认： http://ssdi.di.fct.unl.pt/scl/docs/exercises/Clemens%20Dubslaff%20hm4.pdf

【讨论】：

加(3,5)的时候，为什么只把y的下限设置为6，为什么不改变x的边界（也或相反）？
那么，一个可以提供的最小数量的训练示例，以便候选消除算法可以完美地学习目标概念是 6？

【解决方案2】：

假设所有范围都是 a ≤ x ≤ b 和 a 和 b 是整数然后...

在一维情况下（只有 x）将有 4 个样本 (a-1,a,b,b+1) 可以证明这一点。

如果将其扩展到 2 维（x 和 y），它应该是 16 个样本，即上面的 x 和 y 的 (c-1,c,d,d+1)，以及所有可能的组合。

如果我不理解问题，请纠正我。

【讨论】：

我知道这是一个老问题，但在 (2 ≤ x ≤ 4, 6 ≤ y ≤ 9) 的情况下，答案不是 12 吗？有 3 个可能的 x 值，4 个可能的 y 值，3*4=12。这 12 个示例都是正（正确）值，因此任何给程序的不正确示例都会因为只知道这 12 个而被拒绝？