【问题标题】:Curve fitting with nth order polynomial having sine ripples具有正弦波纹的 n 阶多项式曲线拟合
【发布时间】:2020-01-11 03:11:10
【问题描述】:

我正在对某个测量设备中的测量误差进行建模。这就是data 的外观:低频多项式上的高频正弦纹波。我的模型也应该能捕捉到涟漪。

拟合误差的曲线应为:error(x) = a0 + a1*x + a2*x^2 + ... an*x^n + Asin(x/lambda) 。多项式的阶数 n 未知。我的计划是从 1-9 迭代 n 并选择具有最高 F-value 的那个。

到目前为止,我玩过numpy.polyfitscipy.optimize.curve_fitnumpy.polyfit 仅适用于多项式,因此虽然我可以生成“最佳拟合”多项式,但无法确定正弦项的参数 A 和 lambda。如果我已经知道 error(x) 的多项式部分的多项式阶数,scipy.optimize.curve_fit 会很好用。

有没有一种巧妙的方法可以同时使用numpy.polyfitscipy.optimize.curve_fit 来完成这项工作?或者可能是另一个库函数?

这是我如何使用 numpy.polyfit 选择最佳多项式的代码:

def GetErrorPolynomial(X, Y):

    maxFval = 0.0
    for i in range(1, 10):   # i is the order of the polynomial (max order = 9)
        error_func = np.polyfit(X, Y, i)
        error_func = np.poly1d(error_func)

        # F-test (looking for the largest F value)
        numerator = np.sum(np.square(error_func(X) - np.mean(Y))) / i
        denominator = np.sum(np.square(Y - error_func(X))) / (Y.size - i - 1)
        Fval = numerator / denominator

        if Fval > maxFval:
            maxFval = Fval
            maxFvalPolynomial = error_func

    return maxFvalPolynomial

这是我如何使用curve_fit的代码:

def poly_sine_fit(x, a, b, c, d, l):
     return a*np.square(x) + b*x + c + d*np.sin(x/l)

param, _ = curve_fit(poly_sine_fit, x_data, y_data)

它被“硬编码”为二次函数,但我想选择“最佳”顺序,就像我在上面使用 np.polyfit 所做的那样

【问题讨论】:

  • 这个答案可能会有所帮助:stackoverflow.com/a/50732144/5629339
  • lmfit 也有一些不错的模型,您可以轻松组合:lmfit.github.io/lmfit-py/builtin_models.html#polynomialmodel
  • 请您发布或链接到数据吗?
  • @JamesPhillips 在帖子中添加了数据图
  • 查看您的图表,似乎另一种类型的函数更合适。卡方函数或其相关函数可能效果更好,可能会添加一个小高斯来解释小凸起(尽管这可能只是噪声)。但这取决于底层模型,这是我们没有的领域知识。否则,样条曲线也适合您的整体功能,如果您只是想要平滑地适合整体形状的东西,而没有任何特别的意义。

标签: python numpy curve-fitting scipy-optimize


【解决方案1】:

使用Scikit-learn Linear Regression

这是我用来执行线性回归的代码示例,它使用 3 次多项式通过点 0,值为 1 和零导数。您只需将函数 create_vector 调整为您想要的函数即可。

from sklearn import linear_model
import numpy as np

def create_vector(x):
    # currently representing a polynom Y = a*X^3 + b*X^2
    x3 = np.power(x, 3)
    x2 = np.power(x, 2)
    X = np.append(x3, x2, axis=1)
    return X 

data_x = [some_data_input]
data_y = [some_data_output]

x = np.array(data_x).reshape(-1, 1)
y_data = np.array(data_y).reshape(-1, 1)-1 # -1 to pass by the point (0,1)

X = create_vector(x)    

regr = linear_model.LinearRegression(fit_intercept=False)
regr.fit(X, y_data)

【讨论】:

  • “只需要将函数 create_vector 与你想要的函数相适应”——就是这样,我不知道函数应该是什么。这就是我的帖子的重点,当我事先不知道多项式的阶时,如何在多项式函数上建模正弦波纹。
  • 您实施交叉验证以尝试不同的多项式次数。
【解决方案2】:

我从散点图中提取数据进行分析,发现多项式 + 正弦似乎不是最佳模型,因为低阶多项式没有很好地遵循数据的形状,而高阶多项式表现出龙格现象极端数据处的高曲率。我进行了方程搜索以找出可能施加的高频正弦波,一个很好的候选者似乎是极值峰值方程“a * exp(-1.0 * exp(-1.0 * ((xb)/c ))-((xb)/c) + 1.0) + offset" 如下图。

这是这个方程的图形 Python 曲线拟合器,在文件的顶部我加载了我提取的数据,因此您需要用实际数据替换它。该拟合器使用 scipy 的差分进化遗传算法模块来估计非线性拟合器的初始参数值,该拟合器使用拉丁超立方算法来确保对参数空间的彻底搜索,并需要搜索范围。这里的界限取自数据的最大值和最小值。

从此拟合曲线中减去模型预测应该只剩下要建模的正弦分量。我注意到在大约 x = 275 处似乎还有一个窄的、低振幅的峰值。

import numpy, scipy, matplotlib
import matplotlib.pyplot as plt
from scipy.optimize import curve_fit
from scipy.optimize import differential_evolution
import warnings

##########################################################
# load data section
f = open('/home/zunzun/temp/temp.dat')
textData = f.read()
f.close()

xData = []
yData = []
for line in textData.split('\n'):
    if line: # ignore blank lines
        spl = line.split()
        xData.append(float(spl[0]))
        yData.append(float(spl[1]))
xData = numpy.array(xData)
yData = numpy.array(yData)


##########################################################
# model to be fitted
def func(x, a, b, c, offset): # Extreme Valye Peak equation from zunzun.com
    return a * numpy.exp(-1.0 * numpy.exp(-1.0 * ((x-b)/c))-((x-b)/c) + 1.0) + offset


##########################################################
# fitting section

# function for genetic algorithm to minimize (sum of squared error)
def sumOfSquaredError(parameterTuple):
    warnings.filterwarnings("ignore") # do not print warnings by genetic algorithm
    val = func(xData, *parameterTuple)
    return numpy.sum((yData - val) ** 2.0)


def generate_Initial_Parameters():
    # min and max used for bounds
    maxX = max(xData)
    minX = min(xData)
    maxY = max(yData)
    minY = min(yData)

    minData = min(minX, minY)
    maxData = max(maxX, maxY)

    parameterBounds = []
    parameterBounds.append([minData, maxData]) # search bounds for a
    parameterBounds.append([minData, maxData]) # search bounds for b
    parameterBounds.append([minData, maxData]) # search bounds for c
    parameterBounds.append([minY, maxY]) # search bounds for offset

    # "seed" the numpy random number generator for repeatable results
    result = differential_evolution(sumOfSquaredError, parameterBounds, seed=3)
    return result.x

# by default, differential_evolution completes by calling curve_fit() using parameter bounds
geneticParameters = generate_Initial_Parameters()

# now call curve_fit without passing bounds from the genetic algorithm,
# just in case the best fit parameters are aoutside those bounds
fittedParameters, pcov = curve_fit(func, xData, yData, geneticParameters)
print('Fitted parameters:', fittedParameters)
print()

modelPredictions = func(xData, *fittedParameters) 

absError = modelPredictions - yData

SE = numpy.square(absError) # squared errors
MSE = numpy.mean(SE) # mean squared errors
RMSE = numpy.sqrt(MSE) # Root Mean Squared Error, RMSE
Rsquared = 1.0 - (numpy.var(absError) / numpy.var(yData))

print()
print('RMSE:', RMSE)
print('R-squared:', Rsquared)

print()


##########################################################
# graphics output section
def ModelAndScatterPlot(graphWidth, graphHeight):
    f = plt.figure(figsize=(graphWidth/100.0, graphHeight/100.0), dpi=100)
    axes = f.add_subplot(111)

    # first the raw data as a scatter plot
    axes.plot(xData, yData,  'D')

    # create data for the fitted equation plot
    xModel = numpy.linspace(min(xData), max(xData))
    yModel = func(xModel, *fittedParameters)

    # now the model as a line plot
    axes.plot(xModel, yModel)

    axes.set_xlabel('X Data') # X axis data label
    axes.set_ylabel('Y Data') # Y axis data label

    plt.show()
    plt.close('all') # clean up after using pyplot

graphWidth = 800
graphHeight = 600
ModelAndScatterPlot(graphWidth, graphHeight)

更新 -------- 如果高频正弦分量是恒定的(我不知道),那么只用几个周期对一小部分数据进行建模就足以确定拟合模型正弦波部分的方程和初始参数估计值。在这里,我这样做了,结果如下:

根据以下等式:

amplitude = -1.0362957093184177E+00
center = 3.6632754608370377E+01
width = 5.0813421718648293E+00
Offset = 5.1940843481496088E+00

pi = 3.14159265358979323846 # constant not fitted

y = amplitude * sin(pi * (x - center) / width) + Offset

使用实际数据而不是我的散点图提取数据组合这两个模型应该接近您的需要。

【讨论】:

  • “多项式 + 正弦似乎不是最佳模型” - 是的,你说得对。从数学上讲,“最佳”曲线应该忽略涟漪。但是,对于我正在为其进行此错误建模的项目,正弦波纹需要由曲线捕获。不过还是谢谢。
  • 请参阅我对数据的正弦波部分进行建模的编辑,在我的回答中它被标记为“更新”。
  • 感谢所有建议,我找到了解决方案并将其发布为答案
【解决方案3】:

我终于找到了一种方法来模拟涟漪,并可以回答我自己的问题。这个2006 paper 对类似于我的数据集的波纹进行曲线拟合。

首先,我做了一个最小二乘多项式拟合,然后从原始数据中减去这条多项式曲线。这给我留下的只有涟漪。应用傅立叶变换,我挑选出让我重建正弦波纹的主要频率。然后我简单地将这些波纹添加到我一开始获得的多项式曲线中。做到了。

【讨论】:

    猜你喜欢
    • 2014-01-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-02-16
    • 1970-01-01
    相关资源
    最近更新 更多