【问题标题】:What are the differences between the data compression filters in HDF5HDF5中的数据压缩过滤器有什么区别
【发布时间】:2016-01-30 22:41:29
【问题描述】:

HDF5 API 指出有四种主要过滤器(即 gzip、szip、N-bit 和 scale-offset)可以用于数据压缩。我想知道它们在多核性能方面的主要区别是什么?

【问题讨论】:

    标签: compression hdf5


    【解决方案1】:

    据此: https://www.hdfgroup.org/hdf5-quest.html#pneed 并行 HDF5 不支持压缩。如果您的意思是“多核”的 JAVA 多线程,那么我仅使用 NetCDF4 接口(基于 HDF5 构建)进行了尝试,而多线程实际上导致的问题多于解决的问题。提供代码示例实际上可能会澄清您的问题。

    【讨论】:

    • 我的问题是关于过滤器的多核性能,可用于“顺序”HDF5 中的数据压缩。因此,我没有为此编写任何代码。干杯。
    • 好的,知道了。在那种情况下,压缩库的(多核)性能应该独立于 HDF5 本身,不是吗? HDF5 似乎不太支持多线程,即使对于不同的文件,I/O 也是以串行方式完成的,至少在 JAVA 代码中是这样。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-05-01
    • 2019-02-11
    • 2012-10-06
    • 1970-01-01
    • 2012-04-26
    • 1970-01-01
    相关资源
    最近更新 更多