【发布时间】:2011-09-20 03:20:59
【问题描述】:
我尝试在我的 hive 脚本中使用 lzo,但收到此错误消息。我的类路径中似乎没有 lzo 的类。
以前有没有其他人遇到过这个问题,如何解决这个问题,也许我需要知道的是我可以在哪里获得lzo压缩的jar文件,谢谢。
【问题讨论】:
-
这适用吗? HIVE-2395
我尝试在我的 hive 脚本中使用 lzo,但收到此错误消息。我的类路径中似乎没有 lzo 的类。
以前有没有其他人遇到过这个问题,如何解决这个问题,也许我需要知道的是我可以在哪里获得lzo压缩的jar文件,谢谢。
【问题讨论】:
Here 是一些关于如何设置 LZO 压缩的详细说明。
【讨论】:
Lzo 配置在一个(或所有)节点中不正确。
在 core-site.xml 中添加如下配置。
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
【讨论】: