随机播放文件期间 apache spark(1.6) 作业中的 FileNotFoundException

Question

我正在开发 spark 1.6，它使我的工作因以下错误而失败

java.io.FileNotFoundException: /data/05/dfs/dn/yarn/nm/usercache/willir31/appcache/application_1413512480649_0108/spark-local-20141028214722-43f1/26/shuffle_0_312_0.index（没有这样的文件或目录） java.io.FileOutputStream.open（本机方法） java.io.FileOutputStream.(FileOutputStream.java:221) org.apache.spark.storage.DiskBlockObjectWriter.open(BlockObjectWriter.scala:123) org.apache.spark.storage.DiskBlockObjectWriter.write(BlockObjectWriter.scala:192) org.apache.spark.util.collection.ExternalSorter$$anonfun$writePartitionedFile$4$$anonfun$apply$2.apply(ExternalSorter.scala:733) org.apache.spark.util.collection.ExternalSorter$$anonfun$writePartitionedFile$4$$anonfun$apply$2.apply(ExternalSorter.scala:732) scala.collection.Iterator$class.foreach(Ite​​rator.scala:727) org.apache.spark.util.collection.ExternalSorter$IteratorForPartition.foreach(ExternalSorter.scala:790) org.apache.spark.util.collection.ExternalSorter$$anonfun$writePartitionedFile$4.apply(ExternalSorter.scala:732) org.apache.spark.util.collection.ExternalSorter$$anonfun$writePartitionedFile$4.apply(ExternalSorter.scala:728) scala.collection.Iterator$class.foreach(Ite​​rator.scala:727) scala.collection.AbstractIterator.foreach(Ite​​rator.scala:1157) org.apache.spark.util.collection.ExternalSorter.writePartitionedFile(ExternalSorter.scala:728) org.apache.spark.shuffle.sort.SortShuffleWriter.write(SortShuffleWriter.scala:70) org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:68) org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:41)

我正在执行连接操作。当我仔细查看错误并检查我的代码时，我发现它在从 dataFrame 写回 CSV 时失败了。但我无法摆脱它。我没有使用 hdp，我为所有组件单独安装。

Answer 1

此类错误通常发生在某些任务存在更深层次的问题时，例如严重的数据倾斜。由于您没有提供足够的详细信息（请务必阅读 How To Ask 和 How to create a Minimal, Complete, and Verifiable example）和作业统计信息，我能想到的唯一方法是显着增加随机分区的数量：

sqlContext.setConf("spark.sql.shuffle.partitions", 2048)