spark1.0版本 spark-env.sh中

export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/soft/hadoop/lzo/lib/
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/soft/server/spark-1.0.2-bin-hadoop2/lib/hadoop-lzo-0.4.20-SNAPSHOT.jar

/soft/hadoop/lzo/lib/路径下:

liblzo2.a  liblzo2.la  liblzo2.so  liblzo2.so.2  liblzo2.so.2.0.0

 

spark1.3版本

不要使用SPARK_CLASSPATH

spark-env.sh中

export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/soft/hadoop/lzo/lib/

spark-defaults.conf中

spark.executor.extraClassPath   /soft/server/spark-1.0.2-bin-hadoop2/lib/hadoop-lzo-0.4.20-SNAPSHOT.jar

相关文章:

  • 2021-07-17
  • 2021-10-09
  • 2022-02-01
  • 2021-10-26
  • 2021-06-24
  • 2022-12-23
  • 2021-12-11
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2021-07-07
  • 2021-07-05
  • 2022-12-23
  • 2022-12-23
相关资源
相似解决方案