我可以在 Spark 中创建序列文件吗？ [复制]

【问题标题】：Can I create sequence file in Spark? [duplicate]我可以在 Spark 中创建序列文件吗？ [复制]
【发布时间】：2017-01-30 11:47:16
【问题描述】：

目前我们在pig中实现了从记录生成序列文件，其中记录的某些属性被视为序列文件的键，并且与该键对应的所有记录都存储在一个序列文件中。当我们转向 spark 时，我想知道如何在 spark 中做到这一点？

【问题讨论】：

标签： hadoop apache-spark mapreduce apache-pig sequencefile

【解决方案1】：

saveAsSequnceFile 将数据保存为序列文件。

val a=sc.parallelize(List(1,2,3,4,5)).map(x=>(x,x*10)).saveAsSequenceFile("/saw1")

$ hadoop fs -cat /sqes/part-00000
SEQ org.apache.hadoop.io.IntWritable org.apache.hadoop.io.IntWritableZ      tTrh7��g�,��
2[cloudera@quickstart ~]$

使用 sc.sequenceFile 读取序列文件

 val sw=sc.sequenceFile("/saw1/part-00000", classOf[IntWritable],classOf[IntWritable]).collect

【讨论】：