【问题标题】:Can not infer schema for type: <type 'str'>无法推断类型的架构:<type 'str'>
【发布时间】:2016-07-05 14:37:25
【问题描述】:

我有以下使用 Spark 的 Python 代码:

from pyspark.sql import Row

def simulate(a, b, c):
  dict = Row(a=a, b=b, c=c)
  df = sqlContext.createDataFrame(dict)
  return df

df = simulate("a","b",10)
df.collect()

我正在创建一个Row 对象,我想将其保存为DataFrame

但是,我收到此错误:

TypeError: Can not infer schema for type: <type 'str'>

它出现在这一行:

df = sqlContext.createDataFrame(dict)

我做错了什么?

【问题讨论】:

    标签: python apache-spark pyspark


    【解决方案1】:

    创建单元素数据框是没有意义的。如果您想让它在使用列表中正常工作:df = sqlContext.createDataFrame([dict])

    【讨论】:

    • 与警告一起使用:UserWarning:不推荐从 dict 推断架构,请改用 pyspark.sql.Row
    猜你喜欢
    • 2015-12-20
    • 2016-08-03
    • 1970-01-01
    • 2016-03-26
    • 1970-01-01
    • 1970-01-01
    • 2022-01-22
    • 1970-01-01
    相关资源
    最近更新 更多