使用分类变量的 sklearn 线性回归答案

【问题标题】：Linear Regression with sklearn using categorical variables使用分类变量的 sklearn 线性回归
【发布时间】：2014-11-29 16:49:42
【问题描述】：

我正在尝试使用 sk-learn 在 Python 中运行通常的线性回归，但我有一些我不知道如何处理的分类数据，特别是因为我使用 pandas read.csv() 导入了数据并且我有从以前的经验和阅读中了解到，Pandas 和 sk-learn 相处得并不好（目前）。

我的数据如下所示：

Salary  AtBat   Hits    League  EastDivision
475     315     81      1       0
480     479     130     0       0
500     496     141     1       1

我想使用 AtBat、Hits、League 和 EastDivision 来预测 Salary，其中 League 和 EastDivision 是分类的。

如果我通过 numpy 的 loadtext() 导入数据，我会得到一个 numpy 数组，理论上我可以与 sklearn 一起使用，但是当我使用 DictVectorizer 时会出现错误。我的代码是：

import numpy as np
from sklearn.feature_extraction import DictVectorizer as DV

nphitters=np.loadtxt('Hitters.csv',delimiter=',', skiprows=1)
vec = DV( sparse = False )
catL=vec.fit_transform(nphitters[:,3:4])

当我运行最后一行catL=vec.fit_transform(nphitters[:,3:4])时出现错误，错误是

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python2.7/dist-packages/sklearn/feature_extraction/dict_vectorizer.py", line 142, in fit_transform
    self.fit(X)
  File "/usr/lib/python2.7/dist-packages/sklearn/feature_extraction/dict_vectorizer.py", line 107, in fit
    for f, v in six.iteritems(x):
  File "/usr/lib/python2.7/dist-packages/sklearn/externals/six.py", line 268, in iteritems
    return iter(getattr(d, _iteritems)())
AttributeError: 'numpy.ndarray' object has no attribute 'iteritems'

我不知道如何解决它，另一件事是，一旦我得到分类数据，我该如何运行回归？就好像分类变量是另一个数值变量一样？

我发现了几个与我类似的问题，但没有一个对我真正有用。

【问题讨论】：

标签： python scikit-learn linear-regression categorical-data

【解决方案1】：

基本上发生的情况是，您将 1 和 0 的向量传递给将获取键和值（如字典）并为您创建表的函数

D = [{'foo': 1, 'bar': 2}, {'foo': 3, 'baz': 1}]

会变成

array([[ 2.,  0.,  1.],
       [ 0.,  1.,  3.]])

或

|bar|baz|foo  |<br>
|---|---|-----|<br>
| 2 | 0 | 1   |<br>
| 0 | 0 | 3   |<br>

阅读：http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.DictVectorizer.html

在您的情况下，数据已准备好进行线性回归，因为联赛和东部地区的要素已经是假人了。

【讨论】：

关于 pandas 和 sklearn，它们可以很好地协同工作。这只是习惯的问题。如果你只想要值，数据框末尾的 .values
是的，我后来看到我的数据已经准备好了；并且还找到了一些让 sklearn 和 pandas 一起工作的方法。非常感谢！
嘿，马里奥。愿意分享一个链接，描述可以让 Pandas 和 Sklearn 很好地协同工作的方法吗？谢谢。

【解决方案2】：

看起来 .fit_transform() 需要 dict 但 .loadtxt() 创建一个 numpy 数组。

您可以在使用pandas 读取数据后使用.to_dict()。

【讨论】：

【解决方案3】：

scikit-learn 有两个新功能可以为您完成这项工作

sklearn.preprocessing.LabelBinarizer
sklearn.preprocessing.LabelEncoder

如果您想在一行中处理多个值，

sklearn.preprocessing.MultiLabelBinarizer

例如：

array = [(dog, cat),(dog),(dog,fish)]
mb = MultiLabelBinarizer()
mb.fit_transform(array)

>> array([1, 0, 1, 0, 0, 0],
       [0, 1, 0, 0, 1, 1],
       [0, 0, 1, 1, 0, 0]])

【讨论】：