【发布时间】：2015-12-31 13:30:16
【问题描述】：
我目前正在使用 avro 文件将数据记录存储在最大为 50GB 的文件中。问题是除了顺序分析文件之外，我还必须对数据执行随机搜索。 avro 的问题是我只能寻找某些同步点，并且必须遍历块，直到找到我要寻找的记录，但这在某些情况下会导致显着的性能损失。 我现在的问题是：有没有办法以不同的格式存储数据，支持随机搜索单个记录而无需太多负担。
限制：
- 必须放在磁盘上（在一些用例中 RAM 太小）
- 需要二进制
- 编程语言：Python、Java、C++ 是可选的，但很高兴拥有
干杯和感谢
【问题讨论】：
-
如果你的数据结构太重，你可以试试
Apache Hadoop(distributions http://hortonworks.com/, http://www.cloudera.com/content/www/en-us.html)` 并用Hive, Impala, Spark-stream等查询你的文件作为表...跨度> -
这取决于你执行什么样的搜索。它们是用于简单键（例如整数 ID）还是更复杂？单个索引是否就足够了，或者您是否对每个文件执行不同类型的查找？
-
简单的键就足够了（主要是整数和双精度，很少是字符串）。 @Valijon：感谢您的建议，这个想法很酷，问题是我使用的架构比我找到的示例要复杂一些，这可能是个问题吗？
-
@M.Die - 你可以看看 PalDB (github.com/linkedin/PalDB)。
标签： java python avro random-access