【发布时间】:2017-04-09 04:02:55
【问题描述】:
sdf_register和sparklyr中的copy_to命令有什么区别?
你什么时候使用每个命令?
【问题讨论】:
标签: r apache-spark sparklyr
sdf_register和sparklyr中的copy_to命令有什么区别?
你什么时候使用每个命令?
【问题讨论】:
标签: r apache-spark sparklyr
sdf_register 是 Spark 特有的函数,它在 Metastore 中注册 SparkDataFrame 它不涉及数据复制,用于 Spark 互操作。
copy_to 将本地数据复制到 Spark。如果与SparkDataFrame 一起使用,它将收集并放回 Spark。
【讨论】: