【问题标题】:Amazon EMR - Java SDK - how to get job resultsAmazon EMR - Java SDK - 如何获取作业结果
【发布时间】:2015-12-08 13:50:46
【问题描述】:

我正在使用 Amazon EMR 服务来管理一些大数据配置单元表。
我想从我的代码中知道表格中的项目数。
目前我正在运行一个查询,例如:

select count(*) from myTable;

将结果从 EMR 保存到 S3 上的文件中,然后从 S3 的代码中读取此文件以获取结果。

是否有直接的方法可以使用 Java SDK 获取查询的输出,而无需通过 S3?

【问题讨论】:

  • 这不是来自Java SDK,但是你看过Apache Zeppelin吗?它适用于临时分析,并有一个配置单元解释器。我相信它从 emr-4.1.0+ 开始就在 EMR 上得到支持。
  • @Greg - 谢谢,看起来不错。但是我们几乎没有在公司投资 EMR-HIVE-JAVA 解决方案,现在对于这么小的所需功能来说,它看起来像是一个极端的变化。
  • 我建议使用 JDBC 与 Hive 交互,然后您可以通过编程方式获取结果。见cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients

标签: java emr amazon-emr


【解决方案1】:

我通过与org.apache.hive:hive-jdbc 集成来解决它。

感谢@ChristopherB 的建议。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-04-05
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多