如何在 Spark 中配置 spark.io.compression.codec=lzf答案

【问题标题】：How to config spark.io.compression.codec=lzf in Spark如何在 Spark 中配置 spark.io.compression.codec=lzf
【发布时间】：2015-03-13 15:21:21
【问题描述】：

如何在 Spark 中配置 spark.io.compression.codec=lzf？

通常，我使用 spark-submit 来运行我们的驱动程序类，如下所示

./spark-submit --master spark://testserver:7077 --class com.spark.test.SparkTest --conf "spark.io.compression.codec=lzf" /tmp/test/target/test.jar.

所以我可以在命令中设置 spark.io.compression.codec=lzf。但是如果我不想使用 spark-submit 来运行我们的驱动程序类。我想在 spark-job-server 中运行。如何在 spark-job-server 中配置？谢谢我试图在环境变量中设置它。但它不起作用。我也在下面尝试过。还是不行。

sparkConf = new SparkConf().setMaster("spark://testserver:7077").setAppName("Javasparksqltest").
set("spark.executor.memory", "8g").set("spark.io.compression.codec", "lzf");

【问题讨论】：

标签： apache-spark

【解决方案1】：

您可以将该选项传递给spark-submit、或 spark-shell，方法是将其放入与其关联的conf/spark-defaults.conf。详情在configuration section of the doc。

对于spark-jobserver，您可以配置给定的上下文，尤其是当它作为从作业隐式创建的上下文发送时。有几种方法可以做到这一点（其要点是设置在 spark.context-settings 下分层），但Readme.md 的“上下文配置”详细说明了如何做到这一点：

https://github.com/spark-jobserver/spark-jobserver/blob/master/README.md

【讨论】：

我的意思是我不使用 spark-submit。现在我使用 spark-job-server。 spark-job-server 中没有 spark-submit。
！？你的意思是this spark-jobserver？您不认为您可能想在原始问题中指出这一点吗？
很抱歉让您感到困惑。我有相应的编辑。你知道怎么配置吗？
spark 作业服务器是否支持 java 应用程序？我发现在 spark 作业服务器中，作业类需要扩展类 SparkJob。我试图在java中使用它。但是我发现 SparkJob 类中的 SparkContext 而在 java 中，它是 JavaSparkContext。我可以在 Java 类中使用 SparkContext 吗
这是一个完全不同的问题，就像you noticed。我已经尽我所能回答了你在这里问的那个。

【解决方案2】：

使用完整的类名“org.apache.spark.io.LZFCompressionCodec”而不是“lzf”

【讨论】：