R / Rstudio中的Hive连接器

Question

有人知道是否可以将 Hadoop 与 R / Rstudio 连接起来吗？如果是，怎么做？

我有一些蜂巢的桌子，我想用 R / Rstudio 来装饰它们，并在“闪亮”内进行视觉恢复（图表等......）。

如果有任何帮助（想法、代码示例...），我将不胜感激。

Answer 1

试用包dplyr.hive.spark。文档仍然更倾向于 Spark，但我使用最新的 HDP 沙箱针对 Hive 进行了测试，一切进展顺利。如果您尝试一下，请报告任何问题。

Answer 2

如果您只想访问 HDFS 上的 hive 表，您可以使用 RJDBC 包和 JDBC 连接（此处解释：https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients#HiveServer2Clients-JDBC）。然后，您可以像使用关系数据库一样使用 RJDBC，只是它可能会在您的集群上启动一些 map/reduce 作业以执行。