Spark sql优化技术将csv加载到hive的orc格式

Question

嗨，我在 CSV 文件中有 90 GB 数据，我将此数据加载到一个临时表中，然后使用 select insert 命令从临时表到 orc 表，但是为了将数据转换和加载为 orc 格式，在 spark sql 中需要 4 小时.有什么优化技术可以用来减少这个时间吗？到目前为止，我没有使用任何优化技术，我只是使用 spark sql 并将数据从 csv 文件加载到表（文本格式）然后从这个临时表到兽人表（使用选择插入） 使用 spark 提交：

    spark-submit \
    --class class-name\
    --jar file

或者我可以在 spark submit 中添加任何额外的参数来改进优化。

scala 代码（示例）：

    All Imports
    object demo {
    def main(args: Array[String]) {
    //sparksession with enabled hivesuppport

    var a1=sparksession.sql("load data inpath 'filepath'  overwrite into table table_name")

    var b1=sparksession.sql("insert into tablename (all_column) select 'ALL_COLUMNS' from    source_table")

    }
    }

Answer 1

我只是使用 spark sql 并将数据从 csv 文件加载到 表（文本格式），然后从这个临时表到兽人表（使用 选择插入）

---

这里不需要两步过程..

• 读取如下示例的数据帧...

val DFCsv = spark.read.format("csv")
      .option("sep", ",")
      .option("inferSchema", "true")
      .option("header", "true")
      .load("yourcsv")

• 如果需要，你必须做repartition（这可能是实际延迟 4 小时的原因，因为你还没有做）因为它的文件很大，然后...

dfcsv.repartition(90) 表示它将/可能将 csv 数据重新分区为 90 个几乎相等的部分。其中 90 是样本数。你可以提及任何你想要的。

      DFCsv.write.format("orc")
    .partitionBy('yourpartitioncolumns')
    .saveAsTable('yourtable')

或

     DFCsv.write.format("orc")
     .partitionBy('yourpartitioncolumns')
     .insertInto('yourtable')

注意：1）对于大数据，您需要重新分区以均匀分布数据会增加并行度，因此 表现。

2) 如果您没有分区列并且是 非分区表则不需要上面的partitionBy 样品