【问题标题】:LZO for cloudera cdh3u2Cloudera cdh3u2 的 LZO
【发布时间】:2012-09-05 10:02:25
【问题描述】:

我有些困惑地读到cloudera's blog post on lzo on cloudera。由于某些许可 bs,lzo 压缩不是标准 hadoop 的一部分,好的。但是,是什么阻止了 cloudera 将其作为其发行版的一部分呢?或者发生过这种情况?

简而言之,如何在 cloudera cdh3u2 上进行 lzo 压缩?

【问题讨论】:

    标签: hadoop cloudera


    【解决方案1】:

    但是是什么阻止了 cloudera 将其作为其发行版的一部分?或者发生过这种情况?

    Apache Hadoop 和 Cloudera CDH 都是 released 在同一个 Apache Public License 版本 2 下,所以由于 GPL 的限制,我认为 LZO 不能包含在 CDH 中。

    简而言之,如何在 cloudera cdh3u2 上进行 lzo 压缩?

    我还没有尝试过,但这里是 instructions 用于将 LZO 与 Hadoop 结合使用。

    【讨论】:

    • 我知道这些说明,我在问题中指出了它们。我想知道它们是否已经过时了。
    • 当不确定某事时,最好的办法就是尝试一下——这就是我通常做的事情——如果没有,我会想办法。
    【解决方案2】:

    我从使用 Snappy 而不是 LZO 的客户那里听到了非常积极的反馈 - Cloudera 在他们的 blog 上有一篇关于此主题的文章。

    【讨论】:

    • Snappy 文件不可拆分。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-01-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多