【问题标题】:How to Use Apache Drill with Cassandra如何在 Cassandra 中使用 Apache Drill
【发布时间】:2015-09-10 03:15:58
【问题描述】:

我正在尝试使用 Apache Drill 查询 Cassandra。我能找到的唯一连接器在这里: http://www.confusedcoders.com/bigdata/apache-drill/sql-on-cassandra-querying-cassandra-via-apache-drill

但是这并没有建立。它出现了一个工件未找到错误。我也让另一位更精通这些工具的开发人员尝试了一下,但他也没有运气。

我尝试联系我引用的插件的开发人员,但博客无法正常工作,并且不允许我发布 cmets。 有没有人让这个插件工作(如果有怎么办?)或者我可以使用另一个插件或方法将 apache Drill 连接到 Cassandra? 如果有人可以告诉我如何连接一个执行简单的 SQL非常感谢您的查询。

【问题讨论】:

  • 您可以对 prestoDB(来自 Facebook)进行更改,以使用 SQL 对抗 Cassandra => prestodb.io

标签: cassandra datastax-enterprise apache-drill


【解决方案1】:

我查看了最新的 Cassandra 存储插件补丁和最新的 apache 钻取源。钻取代码已更改,无法再应用补丁。 然后我手动将补丁拆开(它主要是 diff 输出)。大部分补丁都是新的类,我可以很容易地将它们添加到最新的钻源树中。大多数其他更新很容易插入到当前源中。有两个特定的类需要一些小的代码修改/扩展。我从修改后的源重新构建了发行版,并将钻孔服务器安装在 3 节点集群上。 Cassandra 架构未能正确初始化,引发新类之一的空指针异常。这让我相信(最新的)修改后的存储插件与最新版本的 Cassandra 不兼容。由于原始存储插件的作者无法访问,并且没有其他人加紧支持代码,因此这是一匹死马。如果必须,请击败它。

【讨论】:

    【解决方案2】:

    我是一年前编写的补丁的作者。当时无法将其合并到 Drill 中,后来被其他东西占用了:(

    Drill 内部结构发生了如此多的变化,我不确定此时需要多少焊接才能使其正常工作。请使用代码作为编写Drill存储插件的参考。

    已将此横幅添加到博客文章的顶部,以节省其他开发人员的时间。

    【讨论】:

      【解决方案3】:

      我不知道是否还有人对这个话题感兴趣,但我一直在试验这个插件并让它与 Drill 1.18-SNAPSHOT 一起使用。这是我的分支的链接,代码如下:1。我的计划是将其作为 PR 提交给 Drill,但它仍然需要一些工作。此代码将成功查询 Cassandra 3.11.5(最新稳定版本)。

      【讨论】:

      • Spark SQL 与 Cassandra 配合得很好,但也希望看到 Drill 查询 Cassandra。在多用户环境下,它会更易于使用、经过实战考验的 JDBC/ODBC 通道以及缓存的可重用性。
      • 这里是 Drill 拉取请求的链接:github.com/apache/drill/pull/1960。这还没有完成,但如果有人想尝试一下,欢迎提供反馈。
      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-05-28
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多