为什么回归被认为是机器学习的一部分？答案

【问题标题】：Why regression is considered as part of machine learning?为什么回归被认为是机器学习的一部分？
【发布时间】：2020-02-10 23:48:50
【问题描述】：

如果我们所说的机器学习 (ML) 是指任何从数据中学习的程序，那么，是的，回归可以说是 ML 的一部分。但是机器学习还有其他几个方面，例如：解决方案会根据一些性能指标进行迭代改进。而对于线性回归，有一个直接公式形式的封闭形式的解决方案，使用它可以确定所有参数并且它不涉及迭代。但是还有其他版本的回归参数估计利用梯度下降，它涉及多次迭代。这是否意味着这种用于回归的参数估计的迭代版本被强制完成以将回归置于机器学习的保护伞之下？或者迭代版本有一些直接公式没有提供的优势？

【问题讨论】：

您在哪里找到了 ML 的这个定义？在 Wikipedia 上，它没有说明迭代方法的要求。
今天，机器学习这个术语被过度使用，很多适合ML描述的算法、术语和定义只是统计，所以 ML 只是“统计方法”的一个大营销术语

标签： machine-learning regression linear-regression

【解决方案1】：

我不会评论回归是否是 ML 的一部分（我真的不明白你的定义来自哪里）。但是关于迭代方法的优势，请注意线性回归的封闭形式解决方案如下：

其中 X 是您的设计矩阵。请注意，对矩阵求逆是 O(n^3) 操作，这对于大 n 是不可行的。这是使用 GD 的迭代方法的明显优势。

【讨论】：