【发布时间】:2019-11-21 06:04:28
【问题描述】:
我正在研究 AWS databricks 版本的 apache spark。想用主键和外键创建表模式。我相信 GUID 或自动生成键是创建任何主键的最佳实践。但是如何在databrick上创建,我正在寻找。 帮助表示赞赏
【问题讨论】:
标签: apache-spark pyspark-sql databricks
我正在研究 AWS databricks 版本的 apache spark。想用主键和外键创建表模式。我相信 GUID 或自动生成键是创建任何主键的最佳实践。但是如何在databrick上创建,我正在寻找。 帮助表示赞赏
【问题讨论】:
标签: apache-spark pyspark-sql databricks
试试这个
df = spark.table('your table name')
import uuid
from pyspark.sql.functions import udf
uuidUdf= udf(lambda : str(uuid.uuid4()),StringType())
df = df.withColumn("id",uuidUdf())
【讨论】: