候选淘汰算法

Question

考虑以下训练数据集..

+-------+-------+----------+-------------+
| Size  | Color | Shape    | Class/Label |
+=======+=======+==========+=============+
| big   | red   | circle   | No          |
| small | red   | triangle | No          |
| small | red   | circle   | Yes         |
| big   | blue  | circle   | No          |
| small | blue  | circle   | Yes         |
+-------+-------+----------+-------------+

我想了解当算法从一个反例开始以及两个反例合并时如何进行。

顺便说一句，这不是作业问题。

也欢迎使用其他数据集的示例！这是为了理解算法的负面部分。

Answer 1

对于您的假设空间 (H)，您从一组最大一般 (G) 和最大特定 (S) 假设开始：

G0 = {<?, ?, ?>}
S0 = {<0, 0, 0>}

当你看到一个反例时，你需要从 S 中删除任何与当前观察不一致的假设，并将 G 中的任何不一致假设替换为其与观察一致但仍比某些成员更一般的最小特化S.

因此，对于您的第一个（负面）示例，(big, red, circle)，最小的专业化将构成新的假设空间

G1 = {<small, ? , ?>, <?, blue, ?>, <?, ?, triangle>}
S1 = S0 = {<0, 0, 0>}

请注意，S 没有改变。对于您的下一个示例，(small, red, triangle)，这也是负数，您需要进一步特化 G。请注意，G1 中的第二个假设与新观察不匹配，因此只有 G1 中的第一个和第三个假设需要特化。这将产生

G2 = {<small, blue, ?>, <small, ?, circle>, <?, blue, ?>, <big, ?, triangle>, <?, blue, triangle>}

但是，由于上述 G2 中的第一个和最后一个假设是中间假设 (<?, blue, ?>) 的特化，我们放弃这两个假设，给出

G2 = {<small, ?, circle>, <?, blue, ?>, <big, ?, triangle>}
S2 = S1 = S0 = {<0, 0, 0>}

对于积极的(small, red, circle) 观察，您必须泛化 S 并删除 G 中不一致的任何内容，这给出了

G3 = {<small, ?, circle>}
S3 = {<small, red, circle>}

(big, blue, circle) 是下一个反面例子。但是由于它与G不一致，所以没有这样做

G4 = G3 = {<small, ?, circle>}
S4 = S3 = {<small, red, circle>}

最后，你有(small, blue, circle)的正例，这需要你对S进行泛化以使其与示例一致，给出

G5 = {<small, ?, circle>}
S5 = {<small, ?, circle>}

由于 G 和 S 相等，你已经学习了“小圆圈”的概念。