假设空间何时包含目标概念答案

【问题标题】：When does the hypothesis space contain the target concept假设空间何时包含目标概念
【发布时间】：2016-09-04 23:07:07
【问题描述】：

这样写是什么意思- 假设空间包含目标概念？如果可能的话，举个例子。

【问题讨论】：

标签： machine-learning concept induction

【解决方案1】：

TLDR：这意味着您可以零错误地学习。

这是一个例子：假设一个概念：f(a,b,c,d) = a & b & (!c | !d)（输入在布尔域中）。

这个概念在机器学习任务中通常由数据表示，所以你得到一个数据集：

a | b | c | d = f
--+---+---+---+---
T   T   T   T = F
T   T   T   F = T
T   T   F   T = T
   ... etc ...

你的假设空间是decision trees。在这种情况下，您的假设空间包含目标概念，您可以这样做（例如，有更多可能性）：

可以证明，任何二元公式（概念）都可以学习为决策树。因此一般二元公式是决策树的子集。这意味着，当您知道该概念是二元公式（您甚至可能不知道）时，您将能够使用决策树来学习它（给出足够多的例子）零错误。

另一方面，如果您想通过以下方式学习示例概念 monotone conjunctions，你不能这样做，因为二元公式不是单调连词的子集。

（我所说的子集，是指可能的概念。从子集关系中，您可以对假设空间中包含目标概念的陈述。）

单调连词是一组不否定变量的连词。而且你有更多这样的，当任何连词为真时，输出也为真。 Is 是 DNF 的子集，您不能在其中使用否定。

有些概念可以通过单调连词学习，但不能通过它学习一般的二元公式概念。这意味着，您将无法零错误地学习，一般二进制公式不是单调连词的子集。

这是一份来自普林斯顿的关于机器学习基础的精彩 PDF：http://www.cs.princeton.edu/courses/archive/spr06/cos511/scribe_notes/0209.pdf

【讨论】：

我会说不是“零错误”，而是“贝叶斯错误”或“可能的最小错误”，因为有时目标概念本质上是不确定的（因此贝叶斯风险不为零）。
ML 讲座中的概念是一个终点技术，适用于单个输入不能有不同输出的情况。唯一的输入组合可以在概念中，也可以不在概念中。这是一个清晰的集合。这就是我写零错误的原因。