【问题标题】:"data type not understood" when appending DataFrames附加 DataFrame 时出现“数据类型不理解”
【发布时间】:2018-03-28 15:42:46
【问题描述】:

所以我从一个空白 DataFrame 开始,根据表名列表从 SQL 语句中提取一堆新的 dataFrame,然后将每个附加到起始 dataFrame。 例如:

df1 = pd.DataFrame()
for name in tableslist:
    perT = pd.read_sql_query("SELECT FROM myschema.{0} WHERE username = '{1}'.format(name,user),engine)
    df1 = df1.append(perT)

在终端中返回错误:data type not understood。我很肯定它是由附加行引起的(我已经检查了打印语句)。是什么原因造成的? perT 可能是一个没有行的表。这是一个问题吗?我已经尝试打印出每个表的头部,但仍然无法确定导致该错误/失败的原因。

【问题讨论】:

  • 您确定您的查询符合您的预期吗?尝试单独运行它们。
  • 尝试单独运行mysql查询,收集查询输出一个文本/csv文件,然后添加到df。这可能有助于查明问题。

标签: python sql python-3.x pandas append


【解决方案1】:

我发现对于旧版本的 pandas,当数据框中存在日期字段(特别是 datetime64 变体)时,可能会发生这种情况。在过去,我使用了许多解决方法(见下文),如果不查看数据,很难确切知道什么可以帮助您。

  1. 将所有日期字段转换为 pandas 时间戳 (df[col_name].apply(pd.Timestamp))。
  2. 将所有日期字段转换为字符串 (df[col_name].astype(str))。
  3. 您的初始数据框是一个空数据框。不要尝试将非空数据帧附加到空数据帧,而是将初始数据帧设置为等于第一个非空数据帧,然后继续附加。

    if df1.empty:
        df1 = perT
    else:
        df1 = df1.append(perT)
    
  4. 升级熊猫 :)

【讨论】:

  • 我执行了第 3 步和第 4 步。我相信错误来自尝试附加空数据帧(要么是完整的要么是完整的附加到空的)!非常感谢
猜你喜欢
  • 1970-01-01
  • 2018-11-13
  • 2011-07-23
  • 2021-09-29
  • 2019-04-08
  • 1970-01-01
  • 2021-08-14
  • 2020-06-16
  • 2018-05-24
相关资源
最近更新 更多