【问题标题】:Create a Spark Data Frame with only one column having number from 1 to 1 million创建一个 Spark 数据框,其中只有一列的数字从 1 到 100 万
【发布时间】:2018-05-07 09:09:15
【问题描述】:

如何创建一个 Spark 数据框,其中只有一列的数字从 1 到 1000 万?

我曾尝试使用 Python 创建一个从 1 到 1000 万不等的数字列表,但我的解决方案失败了。 请告知,提前谢谢。

我正在使用以下查询:

df_base1 = sqlc.range(0, 1000000)

但它失败了:

遇到错误: 来自 http://:8999/sessions/401/statements 的无效状态代码 '500' 带有错误负载:“java.lang.IllegalStateException: RPC 通道已关闭。”

【问题讨论】:

  • 请提供您当前解决方案的代码示例。
  • 您的代码没有问题。这是正确的做法。异常可能是其他原因的结果。你能发布完整的追溯吗?

标签: python python-3.x apache-spark pyspark spark-dataframe


【解决方案1】:

df_base1 = sqlc.range(0, 1000000)

工作正常。 存在一些环境问题。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-10-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多