如何迭代熊猫数据框的列以运行回归

Question

我确信这很简单，但作为一个完整的 python 新手，我无法弄清楚如何迭代 pandas 数据帧中的变量并对每个变量运行回归。

这就是我正在做的事情：

all_data = {}
for ticker in ['FIUIX', 'FSAIX', 'FSAVX', 'FSTMX']:
    all_data[ticker] = web.get_data_yahoo(ticker, '1/1/2010', '1/1/2015')

prices = DataFrame({tic: data['Adj Close'] for tic, data in all_data.iteritems()})  
returns = prices.pct_change()

我知道我可以像这样运行回归：

regs = sm.OLS(returns.FIUIX,returns.FSTMX).fit()

但假设我想对数据框中的每一列执行此操作。特别是，我想在 FSTMX 上回归 FIUIX，然后在 FSTMX 上回归 FSAIX，然后在 FSTMX 上回归 FSAVX。每次回归后，我都想存储残差。

我尝试了以下各种版本，但我一定是语法错误：

resids = {}
for k in returns.keys():
    reg = sm.OLS(returns[k],returns.FSTMX).fit()
    resids[k] = reg.resid

我认为问题是我不知道如何按键引用returns列，所以returns[k]可能是错误的。

任何关于最佳方式的指导将不胜感激。也许我缺少一种常见的 pandas 方法。

Answer 1

假设 X 因子，y 标签（多列）：

columns = [c for c in _df.columns if c in ['col1', 'col2','col3']]  #or '..c not in..'
_df.set_index(columns, inplace=True)
print( _df.index)

X, y =  _df.iloc[:,:4].values, _df.index.values

Answer 2

我只是在寻找一个干净的列迭代器（Series，没有名字）时遇到了这个问题。

除非我弄错了，否则没有这样的事情，如果是真的，那就有点烦人了。特别是，有时希望将几个单独的列（系列）分配给变量，例如：

x, y = df[['x', 'y']]  # does not work

有一个接近的df.items()，但它给出了一个元组迭代器(column_name, column_series)。有趣的是，有一个对应的df.keys() 返回df.columns，即列名称为Index，因此a, b = df[['x', 'y']].keys() 正确分配a='x' 和b='y'。但是没有对应的df.values()，并且有充分的理由，因为df.values 是一个属性并返回底层numpy 数组。

一种（不优雅的）方法是：

x, y = (v for _, v in df[['x', 'y']].items())

但它不像我想要的那样pythonic。

Answer 3

你可以使用iteritems():

for name, values in df.iteritems():
    print('{name}: {value}'.format(name=name, value=values[0]))

Answer 4

这个答案是迭代 选定的列 以及 DF 中的所有列。

df.columns 给出一个包含 DF 中所有列名的列表。现在，如果您想遍历所有列，这不是很有帮助。但是当您只想迭代您选择的列时，它会派上用场。

我们可以很容易地使用 Python 的列表切片来根据我们的需要对 df.columns 进行切片。例如，要遍历除第一列之外的所有列，我们可以这样做：

for column in df.columns[1:]:
    print(df[column])

类似地以相反的顺序遍历所有列，我们可以这样做：

for column in df.columns[::-1]:
    print(df[column])

我们可以使用这种技术以很酷的方式遍历所有列。另请记住，您可以使用以下方法轻松获取所有列的索引：

for ind, column in enumerate(df.columns):
    print(ind, column)

Answer 5

基于the accepted answer，如果每列对应的index也是desired：

for i, column in enumerate(df):
    print i, df[column]

上面的df[column]类型是Series，可以简单转换成numpyndarrays：

for i, column in enumerate(df):
    print i, np.asarray(df[column])

Answer 6

我有点晚了，但我是这样做的。步骤：

1. 创建所有列的列表
2. 使用 itertools 取 x 个组合
3. 将每个结果 R 平方值与排除的列列表一起附加到结果数据框
4. 按照 R 平方的降序对结果 DF 进行排序，看看哪个最合适。

这是我在 DataFrame 上使用的代码aft_tmt。随意推断您的用例..

import pandas as pd
# setting options to print without truncating output
pd.set_option('display.max_columns', None)
pd.set_option('display.max_colwidth', None)

import statsmodels.formula.api as smf
import itertools

# This section gets the column names of the DF and removes some columns which I don't want to use as predictors.
itercols = aft_tmt.columns.tolist()
itercols.remove("sc97")
itercols.remove("sc")
itercols.remove("grc")
itercols.remove("grc97")
print itercols
len(itercols)

# results DF
regression_res = pd.DataFrame(columns = ["Rsq", "predictors", "excluded"])

# excluded cols
exc = []

# change 9 to the number of columns you want to combine from N columns.
#Possibly run an outer loop from 0 to N/2?
for x in itertools.combinations(itercols, 9):
    lmstr = "+".join(x)
    m = smf.ols(formula = "sc ~ " + lmstr, data = aft_tmt)
    f = m.fit()
    exc = [item for item in x if item not in itercols]
    regression_res = regression_res.append(pd.DataFrame([[f.rsquared, lmstr, "+".join([y for y in itercols if y not in list(x)])]], columns = ["Rsq", "predictors", "excluded"]))

regression_res.sort_values(by="Rsq", ascending = False)

Answer 7

使用列表推导，您可以获得所有列名（标题）：

[column for column in df]

Answer 8

for column in df:
    print(df[column])

Answer 9

一种解决方法是转置DataFrame 并遍历行。

for column_name, column in df.transpose().iterrows():
    print column_name

Answer 10

您可以使用 ix 按位置索引数据框列。

df1.ix[:,1]

例如，这将返回第一列。 （0 是索引）

df1.ix[0,]

这将返回第一行。

df1.ix[:,1]

这将是第 0 行和第 1 列交叉处的值：

df1.ix[0,1]

等等。所以你可以enumerate()returns.keys(): 并使用数字来索引数据框。