线性单元

线性单元是啥

感知器有一个问题，当面对的数据集不是线性可分的时候，『感知器规则』可能无法收敛，这意味着我们永远也无法完成一个感知器的训练。为了解决这个问题，我们使用一个可导的线性函数来替代感知器的阶跃函数，这种感知器就叫做线性单元。线性单元在面对线性不可分的数据集时，会收敛到一个最佳的近似上。

为了简单起见，我们可以设置线性单元的**函数为

这样的线性单元如下图所示

对比此前我们讲过的感知器

这样替换了**函数之后，线性单元将返回一个实数值而不是0,1分类。因此线性单元用来解决回归问题而不是分类问题。

线性单元的模型

当我们说模型时，我们实际上在谈论根据输入预测输出的算法。比如，可以是一个人的工作年限，可以是他的月薪，我们可以用某种算法来根据一个人的工作年限来预测他的收入。比如：

函数叫做假设，而、是它的参数。我们假设参数，参数，如果一个人的工作年限是5年的话，我们的模型会预测他的月薪为

你也许会说，这个模型太不靠谱了。是这样的，因为我们考虑的因素太少了，仅仅包含了工作年限。如果考虑更多的因素，比如所处的行业、公司、职级等等，可能预测就会靠谱的多。我们把工作年限、行业、公司、职级这些信息，称之为特征。对于一个工作了5年，在IT行业，百度工作，职级T6这样的人，我们可以用这样的一个特征向量来表示他

 = (5, IT, 百度, T6)。

既然输入变成了一个具备四个特征的向量，相对应的，仅仅一个参数就不够用了，我们应该使用4个参数，每个特征对应一个。这样，我们的模型就变成

其中，对应工作年限，对应行业，对应公司，对应职级。

为了书写和计算方便，我们可以令等于，同时令对应于特征。由于其实并不存在，我们可以令它的值永远为1。也就是说

这样上面的式子就可以写成

我们还可以把上式写成向量的形式

长成这种样子模型就叫做线性模型，因为输出就是输入特征的线性组合。

监督学习和无监督学习

接下来，我们需要关心的是这个模型如何训练，也就是参数取什么值最合适。

机器学习有一类学习方法叫做监督学习，它是说为了训练一个模型，我们要提供这样一堆训练样本：每个训练样本既包括输入特征，也包括对应的输出(也叫做标记，label)。也就是说，我们要找到很多人，我们既知道他们的特征(工作年限，行业...)，也知道他们的收入。我们用这样的样本去训练模型，让模型既看到我们提出的每个问题(输入特征)，也看到对应问题的答案(标记)。当模型看到足够多的样本之后，它就能总结出其中的一些规律。然后，就可以预测那些它没看过的输入所对应的答案了。

另外一类学习方法叫做无监督学习，这种方法的训练样本中只有而没有。模型可以总结出特征的一些规律，但是无法知道其对应的答案。

很多时候，既有又有的训练样本是很少的，大部分样本都只有。比如在语音到文本(STT)的识别任务中，是语音，是这段语音对应的文本。我们很容易获取大量的语音录音，然而把语音一段一段切分好并标注上对应文字则是非常费力气的事情。这种情况下，为了弥补带标注样本的不足，我们可以用无监督学习方法先做一些聚类，让模型总结出哪些音节是相似的，然后再用少量的带标注的训练样本，告诉模型其中一些音节对应的文字。这样模型就可以把相似的音节都对应到相应文字上，完成模型的训练。

线性单元的目标函数

现在，让我们只考虑监督学习。

在监督学习下，对于一个样本，我们知道它的特征，以及标记。同时，我们还可以根据模型计算得到输出。注意这里面我们用表示训练样本里面的标记，也就是实际值；用带上划线的表示模型计算的出来的预测值。我们当然希望模型计算出来的和越接近越好。

数学上有很多方法来表示的和的接近程度，比如我们可以用和的差的平方的来表示它们的接近程度

我们把叫做单个样本的误差。至于为什么前面要乘，是为了后面计算方便。

训练数据中会有很多样本，比如个，我们可以用训练数据中所有样本的误差的和，来表示模型的误差，也就是

上式的表示第一个样本的误差，表示第二个样本的误差......。

我们还可以把上面的式子写成和式的形式。使用和式，不光书写起来简单，逼格也跟着暴涨，一举两得。所以一定要写成下面这样

其中

(式2)中，表示第个训练样本的特征，表示第个样本的标记，我们也可以用元组表示第训练样本。则是模型对第个样本的预测值。

我们当然希望对于一个训练数据集来说，误差最小越好，也就是(式2)的值越小越好。对于特定的训练数据集来说，的值都是已知的，所以(式2)其实是参数的函数。

由此可见，模型的训练，实际上就是求取到合适的，使(式2)取得最小值。这在数学上称作优化问题，而就是我们优化的目标，称之为目标函数。