从 Microsoft Azure 提取 JSON 文档并推送到 Kafka 的最佳方式是什么？答案

【问题标题】：Whats is the best way to pull JSON Documents from Microsoft Azure and push into Kafka?从 Microsoft Azure 提取 JSON 文档并推送到 Kafka 的最佳方式是什么？
【发布时间】：2018-02-08 20:47:12
【问题描述】：

我有大约 150 TB 的 JSON 文档，它们存储在我的个人 Windows 驱动程序中。我正在将这些驱动程序移至 Microsoft Azure 存储帐户。我想提取该 JSON 数据并将其发布在 Kafka 上。从 Kafka 我想使用 Kafka-couch 连接器推送到 Couchbase。最好的方法和程序是什么？（牢记数据的复制）

Azure ---> Kafka ---> Couchbase

或 Azure ---> Couchbase。

或 Windows 驱动程序 ---> Couchbase

【问题讨论】：

这会在 Java 中完成吗？想知道为什么它被标记

标签： java json azure apache-kafka couchbase

【解决方案1】：

根据您的需要，我为您提供两种选择。

第一个选项，您可以创建自己的程序来从 Azure Blob Storage 获取数据并将数据推送到 Kafka。您可以使用 WebJob 在 Azure Web App Service 中运行它。

此选项耗时，但成本较低。可以参考下面代码的sn-p或者从here获取更多关于通过java推送数据到kafka的细节。

第二个选项，您可以使用 Azure HDInsight 服务并按照official document 通过以下语法访问存储在 Azure Blob Storage 中的数据： wasb[s]://<containername>@<accountname>.blob.core.windows.net/<path>.

那么，请在site上下载HDFS (Sink)连接器，将Json数据从HDInsight推送到Kafka。

此选项可节省时间，但成本更高。

您也可以参考 SO 线程 Kafka Connector for Azure Blob Storage 并根据您的需要选择两个选项之一。

希望对你有所帮助。

【讨论】：