如何根据hadoop中的特定标准将数据存储在一个数据节点上？

Question

是否可以将数据保存在 hadoop 中的一个数据节点上，这意味着它不会（或者像空间不足时非常有限）分布在整个系统中（复制很好）。 就像我每分钟都记录日志并将它们存储在 hadoop 上的文件夹结构中，如下所示：

/年/月/日

现在我想强制 hadoop 存储例如每个月仅在一个（如果超出空间，则为更多）数据节点上的文件夹，因此当我执行读取请求时，名称节点最好只返回一个数据节点作为数据块的位置。

这可能吗？ Java 中的实现会是什么样子（比如根据父文件夹的哈希将所有文件分组到一个数据节点上）？或者这是一个hadoop配置？

Answer 1

在数据节点级别不可能。

对于单个文件，您可以通过将块大小设置为大于文件大小并将复制因子设置为 1 来确保将其推送到一台机器中。请注意，它仅适用于一个文件。您必须将块大小重置为默认值，否则您最终将使用新的块大小推送 hdfs 中的所有文件。

这不适用于多个文件，即一个月内的所有文件都属于一个数据节点。因为如果您使用上述想法，您将在一台机器上存储一个文件（一天），但每月的第二天数据可能会放在不同的数据节点下。即使我们找到一种解决方法，将同一个月的多天文件放在同一个数据节点下，在 hadoop 负载分配后它最终会在不同的机器上。

最好将低级数据存储和分发留给 hadoop。 如果您对仅选择有限的数据集感兴趣，例如您建议的情况，那么最好使用一些抽象，例如 hive 并基于月份创建分区。

Answer 2

如果您仅将文件保存在一个 DN 中，则很可能会丢失数据。因为 DN 通常是功能较弱的商品硬件。无论如何，您可以使用以下命令将复制因子设置为 1。

hadoop fs -setrep 1 'file_name'

这将设置特定文件的复制。