通过 Python 连接到 Cloudera 集群答案

【问题标题】：Connect to Cloudera Cluster via Python通过 Python 连接到 Cloudera 集群
【发布时间】：2015-01-16 19:53:52
【问题描述】：

我有一个已启动并正在运行的 Cloudera 集群。

我目前正在编写一个 Python 应用程序，它查询 API 以获取响应。我正在将此响应写入应用程序中的文本文件。

但是，我还想在应用程序中以编程方式将此文本文件导出到 cloudera 集群。这可能吗？

能否请您指出一些参考或示例代码来实现这一目标？或者只是您对此的想法和建议。

谢谢！

【问题讨论】：

【解决方案1】：

您可能希望查看 Spotify 的 Snakebite 项目，该项目为您提供了一种直接通过 Python 使用 HDFS 的方法。 http://spotify.github.io/snakebite/

from snakebite.client import Client
client = Client("localhost", 54310, use_trash=False)
for x in client.ls(['/']):
    print x

【讨论】：