【发布时间】:2018-05-07 09:09:15
【问题描述】:
如何创建一个 Spark 数据框,其中只有一列的数字从 1 到 1000 万?
我曾尝试使用 Python 创建一个从 1 到 1000 万不等的数字列表,但我的解决方案失败了。 请告知,提前谢谢。
我正在使用以下查询:
df_base1 = sqlc.range(0, 1000000)
但它失败了:
遇到错误: 来自 http://:8999/sessions/401/statements 的无效状态代码 '500' 带有错误负载:“java.lang.IllegalStateException: RPC 通道已关闭。”
【问题讨论】:
-
请提供您当前解决方案的代码示例。
-
您的代码没有问题。这是正确的做法。异常可能是其他原因的结果。你能发布完整的追溯吗?
标签: python python-3.x apache-spark pyspark spark-dataframe