python中的多元（多项式）最佳拟合曲线？

Question

如何在 python 中计算最佳拟合线，然后将其绘制在 matplotlib 中的散点图上？

我使用普通最小二乘回归计算线性最佳拟合线如下：

from sklearn import linear_model
clf = linear_model.LinearRegression()
x = [[t.x1,t.x2,t.x3,t.x4,t.x5] for t in self.trainingTexts]
y = [t.human_rating for t in self.trainingTexts]
clf.fit(x,y)
regress_coefs = clf.coef_
regress_intercept = clf.intercept_      

这是多变量的（每种情况有许多 x 值）。因此，X 是列表列表，y 是单个列表。 例如：

x = [[1,2,3,4,5], [2,2,4,4,5], [2,2,4,4,1]] 
y = [1,2,3,4,5]

但是如何使用高阶多项式函数来做到这一点。例如，不仅是线性的（x 的 M=1 次方），还有二项式（x 的 M=2 次方）、二次方（x 的 M=4 次方）等等。例如，如何从以下获得最佳拟合曲线？

摘自 Christopher Bishops 的“模式识别和机器学习”，第 7 页：

Answer 1

this question 接受的答案 提供 a small multi poly fit library 它将完全满足您使用 numpy 的需要，并且您可以将结果插入到绘图中，如下所述。

您只需将 x 和 y 点数组以及所需的拟合度（顺序）传入multipolyfit。这将返回您可以使用 numpy 的 polyval 进行绘图的系数。

注意：以下代码已被修改为进行多元拟合，但绘图图像是早期非多元答案的一部分。

import numpy
import matplotlib.pyplot as plt
import multipolyfit as mpf

data = [[1,1],[4,3],[8,3],[11,4],[10,7],[15,11],[16,12]]
x, y = zip(*data)
plt.plot(x, y, 'kx')

stacked_x = numpy.array([x,x+1,x-1])
coeffs = mpf(stacked_x, y, deg) 
x2 = numpy.arange(min(x)-1, max(x)+1, .01) #use more points for a smoother plot
y2 = numpy.polyval(coeffs, x2) #Evaluates the polynomial for each x2 value
plt.plot(x2, y2, label="deg=3")

---

注意：这是前面答案的一部分，如果您没有多变量数据，它仍然是相关的。代替coeffs = mpf(...，使用coeffs = numpy.polyfit(x,y,3)

对于非多变量数据集，最简单的方法可能是使用 numpy 的polyfit：

numpy.polyfit(x, y, deg, rcond=None, full=False, w=None, cov=False)

最小二乘多项式拟合。

将次数为deg 的多项式p(x) = p[0] * x**deg + ... + p[deg] 拟合到点(x, y)。返回最小化平方误差的系数 p 向量。

Answer 2

由于结果函数不是多项式，所以有点脱离上下文，但也许仍然很有趣。多项式拟合的一个主要问题是Runge's phenomenon：度数越高，发生的振荡就越剧烈。这也不仅仅是构造出来的，它还会回来咬你。

作为补救措施，我不久前创建了smoothfit。它解决了一个适当的最小二乘问题并给出了很好的结果，例如：

import numpy as np
import matplotlib.pyplot as plt
import smoothfit

x = [1, 4, 8, 11, 10, 15, 16]
y = [1, 3, 3, 4, 7, 11, 12]
a = 0.0
b = 17.0
plt.plot(x, y, 'kx')

lmbda = 3.0  # controls the smoothness
n = 100
u =  smoothfit.fit1d(x, y, a, b, n, lmbda)

x = np.linspace(a, b, n)
vals = [u(xx) for xx in x]
plt.plot(x, vals, "-")
plt.show()