【问题标题】:Run query on couchbase data imported using sqoop and hadoop connector对使用 sqoop 和 hadoop 连接器导入的 couchbase 数据运行查询
【发布时间】:2014-11-20 17:23:00
【问题描述】:

我正在使用带有 hadoop couchbase 连接器的 sqoop 将一些数据从 couchbase 导入到 hdfs。

如中所述 http://docs.couchbase.com/hadoop-plugin-1.1/#limitations couchbase 不支持查询。

我想要一个使用 hadoop 连接器运行查询的解决方案。

例如: 我在 db 中有 2 个文档,如下所示:

{'doctype':'a'}

和

{'doctype':'b'}

我只需要获取属于 docType=a 的文档。

有没有办法做到这一点?

【问题讨论】:

  • 您能否澄清一下,“使用 hadoop 连接器运行查询” - 您想从 hdfs 或 couchbase 中选择数据?
  • 我想从 HDFS 中选择数据。使用 sqoop+ couchbase hadoop 连接器,存储桶中的所有数据都出现在 HDFS 上。我只需要一些特定的数据。

标签: hadoop couchbase sqoop


【解决方案1】:

如果您想从 Couchbase 中选择数据,则不需要 hadoop 连接器...您只需使用在 doc.doctype=='a' 上进行过滤的 couchbase 视图 见couchbase views documentation

另一方面,我建议使用 Couchbase 中的新 N1QL query 功能。它是一种相当灵活的查询语言(类似于 SQL),见在线N1QL tutorial。

注意:如果您查看 N1QL 的兼容性以运行它具有 v2.2 及更高版本,请参阅N1QL Compatibility 您将需要部署 Couchbase N1QL 查询服务器并指向您现有的 CB v2。 2 集群。见:Couchbase N1QL queries on server

【讨论】:

  • 感谢您的回答,但正如我的问题中所述,我需要来自 couchbase 的特定数据满足必须使用 hadoop 连接器导入到 HDFS 的某些条件。 Sqoop 提供“查询”选项,但这仅适用于 RDBMS,不适用于 couchbase。我需要 Couchbase 的“查询”等价物。我不认为有一个。我们可能必须首先以文本格式从 couchbase 导入 HDFS,然后运行 ​​PIG 脚本或 HIVE 查询并将结果放回数据库。如果我错了,请纠正我。
  • 现在你想做什么更清楚了。尝试查看最新的 Couchbase v3 N1QL (query.pub.couchbase.com/tutorial)。它提供查询功能,并且可能有计划将 N1QL 与 Sqoop 的查询框架集成。看起来很自然。
  • 太好了。谢谢你。但我只能使用 Couchbase v 2.2。因此,我正在为当前的需求编写 PIG 脚本。但无论如何,这很高兴知道。
  • 完美。如果您查看运行 N1QL 的兼容性,它具有 v2.2 及更高版本:docs.couchbase.com/couchbase-query-language-0.1/#compatibility 您将需要部署 Couchbase N1QL 查询服务器并指向您现有的 CB v2.2 集群。见:stackoverflow.com/questions/25620506/…
  • 您能否将上述发现添加到 N1QL 作为答案。我可以接受它,它可以帮助面临上述疑问的其他人。
【解决方案2】:

针对上述要求,为 Sqoop 提出另一种替代方案,称为“Couchdoop”。

Couchdoop 使用视图从 Couchbase 获取数据。因此,我们可以根据需要编写查询并使用 Couchdoop 来访问视图并获取数据。

https://github.com/Avira/couchdoop

为我工作。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-06-16
    • 1970-01-01
    • 1970-01-01
    • 2016-11-01
    • 2014-07-25
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多