【问题标题】:Pandas to_sql() inserting index熊猫 to_sql() 插入索引
【发布时间】:2017-10-12 01:07:09
【问题描述】:

我正在使用 Pandas 0.18.1,在摆弄这段代码时,

import pd

def getIndividualDf(item):
    var1 = []
    # ... populate this list of numbers
    var2 = []
    # ... populate this other list of numbers

    newDf = pd.DataFrame({'var1': var1, 'var2': var2})
    newDf['extra_column'] = someIntScalar
    yield newDf

dfs = []
for item in someList:
    dfs.append(getIndividualDf(item))

resultDf = pd.concat(dfs)
resultDf['segment'] = segmentId # this is an integer scalar

from sqlalchemy import create_engine
engine = create_engine('postgresql://'+user+':'+password+'@'+host+'/'+dbname)
resultDf.reset_index().to_sql('table_name', engine, schema="schema_name", if_exists="append", index=False)

我遇到了这个异常:

(psycopg2.ProgrammingError) 关系“table_name”的列“索引”不存在

确实,表中没有这样的列,只是因为数据框中没有这样的显式列。这就是为什么它很奇怪。

跑步

print(list(resultDf))

就在to_sql() 调用之前,产生

['var1', 'var2', 'extra_column', 'segment']

从to_sql() 调用中删除index=False 会将错误更改为:

(psycopg2.ProgrammingError) 关系“table_name”的列“level_0”不存在

我很困惑。如何摆脱index 列?

更新
print(resultDf.head()) 产生了以下信息:

     var1       var2  extra_column  segment
0       8   0.101653    2077869737   201606
1       9   0.303694    2077869737   201606
2      10   0.493210    2077869737   201606
3      11   0.661064    2077869737   201606
4      12   0.820924    2077869737   201606

【问题讨论】:

  • 尽量不要 reset_index() 并将 index=False 添加到 to_sql() 调用中,您也可以向我们展示 resultDF.head()
  • resultDF.head() 从一个没有名称的基于零索引的列开始,然后继续我感兴趣的所有命名列。我将在问题中发布一个示例。感谢您的帮助,我真的很感激。

标签: python pandas sqlalchemy


【解决方案1】:

您无需在写入 sql 之前重置索引,例如:

resultDf.to_sql('table_name', engine, schema="schema_name", if_exists="append", index=False)

【讨论】:

  • 你是绝对正确的。我仍然不明白为什么 reset_index() 会影响显式 index=False,但在这一点上,我已经厌倦了问这样的问题,我很高兴我终于可以继续我的数据分析了^_^
  • @AlexanderMP 重置索引时,会创建一个名为 level_0 的列并用索引填充它。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2015-01-02
  • 1970-01-01
  • 2019-05-21
  • 2016-10-16
  • 2019-01-19
  • 2015-10-13
  • 2022-06-21
相关资源
最近更新 更多