12.1 优化目标
12.2 大边界的直观理解
12.3 数学背后的大边界分类(可选)
12.4 核函数 1
12.5 核函数 2
12.6 使用支持向量机
12.1 优化目标
到目前为止,你已经见过一系列不同的学习算法。在监督学习中,许多学习算法的性能都非常类似,因此,重要的不是你该选择使用学习算法 A 还是学习算法 B,而更重要的是, 应用这些算法时,所创建的大量数据在应用这些算法时,表现情况通常依赖于你的水平。比 如:你为学习算法所设计的特征量的选择,以及如何选择正则化参数,诸如此类的事。还有 一个更加强大的算法广泛的应用于工业界和学术界,它被称为支持向量机(Support Vector Machine)。与逻辑回归和神经网络相比,支持向量机,或者简称 SVM。在学习复杂的非线性 方程时提供了一种更为清晰,更加强大的方式。因此,在接下来的视频中,我会探讨这一算 法。在稍后的课程中,我也会对监督学习算法进行简要的总结。当然,仅仅是作简要描述。 但对于支持向量机,鉴于该算法的强大和受欢迎度,在本课中,我会花许多时间来讲解它。 它也是我们所介绍的最后一个监督学习算法。
正如我们之前开发的学习算法,我们从优化目标开始。那么,我们开始学习这个算法。 为了描述支持向量机,事实上,我将会从逻辑回归开始展示我们如何一点一点修改来得到本 质上的支持向量机。
那么,在逻辑回归中我们已经熟悉了这里的假设函数形式,和右边的 S 型激励函数。然而,为了解释一些数学知识.我将用 z 表示。 现在考虑下我们想要逻辑回归做什么:如果有一个y=1的样本,我的意思是不管是在训练集中或是在测试集中,又或者在交叉验证集中,总之是 y=1,现在我们希望 h(x) 趋近
。因为我们想要正确地将此样本分类,这就意味着当 h(x) 趋近于 1 时, 应当远大于0,这里的>>意思是远远大于 0。这是因为由于 z 表示
,当 z 远大于 0 时,即到了该图的右边,你不难发现此时逻辑回归的输出将趋近于 1。相反地,如果我们有另一个样本,即 y=0。我们希望假设函数的输出值将趋近于 0,这对应于
,或者就是 z 会远小于 0,因为对应的假设函数的输出值趋近 0。