OCR/Parquet文件的存储策略

Question

让我们假设我的 HDFS 块大小等于 256Mb，并且我需要在 OCR/Parquet 文件中存储 20Gb 的数据，将所有数据存储在一个 OCR/Parquet 文件中更好吗？最好将其存储在许多 256Mb（HDFS 块大小）的 ORC/Parquet 文件中？

提前致谢。

Answer 1

Mappers 和 Reducers 负责处理您的核心数据处理需求。资源管理器负责根据输入和您提供的输入类型识别特定作业中涉及的数据，并尝试将其划分为多个任务并管理这些作业的执行。但是，您需要确保您提供的数据经过优化和平均分配，以便资源管理器可以将它们分配给 Mappers。

注意：M/R 优化不仅仅是将数据分成相等的块。但是，这是正确的第一步。

Parquet 和 ORC 通常是从源（TXT、CSV、JSON 等）加载的数据的辅助格式。源文件通常太大或太小（以 KB 为单位。我们有许多必须处理的场景）。因此，我们对它进行最低限度的处理（清理、日期转换等），并使用 MR/HIVE 作业将其存储为 Parquet / ORC 文件。我们使用 mapred 文件大小参数来指定文件大小。它通常是 HDFS 块大小的倍数（在我们的例子中是 64MB）。

优点是

1. 将数据平均分配给多个映射器可减少映射并减少作业偏差。
2. 您的 hadoop 平台资源利用率更加均衡。
3. 在使用适当大小的块时，可以最大限度地减少磁盘溢出、排序和 I/O 问题。

其他说明

1. ORC / Parquet 是高度专业化的格式，专为快速读取、写入和搜索而编写。
2. 将 ORC/Parquet 格式与 Snappy、LZO 等压缩算法结合使用时，在大多数情况下，读写性能会提高很多。