使用 Kryo 序列化的 Apache Drill 查询数据

【问题标题】：Apache Drill query data serialized with Kryo使用 Kryo 序列化的 Apache Drill 查询数据
【发布时间】：2015-09-21 09:04:07
【问题描述】：

通过将复杂对象 (scala.Vector[(Int, Double)]) 序列化为字节数组，我成功地将复杂对象 (scala.Vector[(Int, Double)]) 保存在 HBase 表列中(scala.Array[Byte]) 与 Kryo (com.twitter.chill.KryoInjection)。

现在我想用 Apache Drill 查询这些数据，并将其从序列化字节数组转换为人类可读的数据。

我想我会以某种方式在 Apache Drill 中“注册”我自己的转换器并将其提供给钻取查询。

很遗憾，我无法找到有关是否以及如何实现的任何信息。

【问题讨论】：

标签： scala hbase kryo apache-drill

【解决方案1】：

如果您在 hbase 中以大端序对数据进行编码，您将获得有意义的结果。您还将在条件查询上获得更好的性能。我认为this doc 有助于描述问题/解决方案。

【讨论】：

我不确定我的解释是否不够清楚，但我看不出编码与serialization/de-serialization 的转换有什么关系。另外，我很确定byte array 是big endian 编码的。
我误解了这个问题，对不起。我以为你在 hbase 中有数据，并且正在使用 hbase 存储插件连接 Drill，但从查询中得到不可读的结果。顺便说一句，参考文档中描述的新 Drill hbase 查询功能适用于即将发布的 Drill 1.2。我认为这些功能已经合并到源代码中了。