逻辑回归在 python 中不起作用答案

【问题标题】：logistic regression not working in python逻辑回归在 python 中不起作用
【发布时间】：2020-03-28 13:57:33
【问题描述】：

我正在尝试使用 scipy.optimize 在 python 中实现逻辑回归并得到我在下面描述的错误

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import scipy.optimize as sci

data=pd.read_csv("data.txt")
X=data.iloc[:,:-1]
y=data.iloc[:,-1]
admitted=data.loc[y==1]
not_admitted=data.loc[y==0]

plotting the data
plt.scatter(admitted.iloc[:,0],admitted.iloc[:,1],color='red',marker='X')
plt.scatter(not_admitted.iloc[:,0],not_admitted.iloc[:,1],color='green',marker='o')
plt.show()

X=np.c_[np.ones((X.shape[0],1)),X]
y=y[:,np.newaxis]
theta=np.zeros((X.shape[1],1))

def sigmoid(x):
    return 1/1+np.exp(-x)

def input(theta,x):
    return np.dot(x,theta)

def probablity(theta,x):
    return sigmoid(input(theta,x))

def cost_func(self,theta,x,y):
    m=x.shape[0]
    cost=-(1/m)*sum(y*np.log(probablity(theta,x))+(1-y)*np.log(1-probablity(theta,x)))
    return cost

def gradient(theta,x,y):
    m=x.shape[0]
    grad=(1/m)*np.dot(x.T,probablity(theta,x)-y)

def fit(self, x, y, theta):
    opt_weights=sci.fmin_tnc(func=cost_func,x0=theta,fprime=gradient,args=(x,y.flatten()))
    return opt_weights[0]

parameters = fit(X, y, theta)

print('The value of parameters are '+str(parameters))

我收到错误提示

  RuntimeWarning: invalid value encountered in log
  total_cost = -(1 / m) * np.sum(y * np.log(probability(theta, x)) + (1 - y) * np.log(1 - probability(theta, x)))
  NIT   NF   F                       GTG
    0    1                    NAN   1.52331587E+04
tnc: fscale = 0.00810224
    0   66                    NAN   1.52331587E+04
tnc: Linear search failed

我知道日志不能用于负值，但我从来没有在八度音阶中遇到过这个错误，有人可以帮忙吗

【问题讨论】：

从函数定义中删除self。你有一个常规的函数而不是一个方法。
您的 fit 函数采用 4 个参数：self, x, y, theta，但您只提供了三个参数：X, y, theta。所以你的函数调用相当于fit(self=X, x=y, y=theta)
谢谢你这解决了问题，但之后我又得到了一个，编辑了问题中的问题

标签： python machine-learning scipy python-3.7 logistic-regression

【解决方案1】：

发生这种情况是因为您定义了没有任何边界的 sigmoid。数字或小数字，您将获得 +inf 和 -inf 导致您遇到的问题。它可以称为量化问题，也可以称为 sigmoid 的估计。

正如 here 所提到的，您可以像这样修改您的 sigmoid 函数（我只是在此处复制该解决方案），您的问题将得到解决：

def sigmoid(x):
    "Numerically-stable sigmoid function."
    if x >= 0:
        z = np.exp(-x)
        return 1 / (1 + z)
    else:
        z = np.exp(x)
        return z / (1 + z)

【讨论】：