Zeppelin PySpark：“JavaMember”对象没有属性“parseDataType”答案

【问题标题】：Zeppelin PySpark: 'JavaMember' object has no attribute 'parseDataType'Zeppelin PySpark：“JavaMember”对象没有属性“parseDataType”
【发布时间】：2017-01-06 17:47:11
【问题描述】：

这个简单的 PySpark sn-p 在普通 spark-submit 下运行良好，但在 cast 调用上使用 Apache Zeppelin 失败。有什么想法吗？

%pyspark
import pyspark.sql.functions as spark_functions

col1 = spark_functions.lit(None)
print("type(col1)={}".format(type(col1)))
col2 = col1.cast(StringType())

错误是：

Traceback (most recent call last):
  File "/tmp/zeppelin_pyspark-6046223946582899049.py", line 252, in <module>
    eval(compiledCode)
  File "<string>", line 14, in <module>
  File "/usr/lib/spark/python/pyspark/sql/column.py", line 334, in cast
    jdt = ctx._ssql_ctx.parseDataType(dataType.json())
AttributeError: 'JavaMember' object has no attribute 'parseDataType'

【问题讨论】：

标签： apache-spark pyspark apache-zeppelin

【解决方案1】：

这是 Zeppelin 0.6.1 上 Spark 2.0 的一个已知错误，目标是在 Zeppelin 0.6.2 中修复：https://issues.apache.org/jira/browse/ZEPPELIN-1411

【讨论】：