【发布时间】:2015-12-08 13:50:46
【问题描述】:
我正在使用 Amazon EMR 服务来管理一些大数据配置单元表。
我想从我的代码中知道表格中的项目数。
目前我正在运行一个查询,例如:
select count(*) from myTable;
将结果从 EMR 保存到 S3 上的文件中,然后从 S3 的代码中读取此文件以获取结果。
是否有直接的方法可以使用 Java SDK 获取查询的输出,而无需通过 S3?
【问题讨论】:
-
这不是来自Java SDK,但是你看过Apache Zeppelin吗?它适用于临时分析,并有一个配置单元解释器。我相信它从 emr-4.1.0+ 开始就在 EMR 上得到支持。
-
@Greg - 谢谢,看起来不错。但是我们几乎没有在公司投资 EMR-HIVE-JAVA 解决方案,现在对于这么小的所需功能来说,它看起来像是一个极端的变化。
-
我建议使用 JDBC 与 Hive 交互,然后您可以通过编程方式获取结果。见cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients
标签: java emr amazon-emr