有没有办法通过管道调用 Bing-ads api 并通过 Google Data Fusion 将数据加载到 Bigquery 中？答案

【问题标题】：Is there any way to call Bing-ads api through a pipeline and load the data into Bigquery through Google Data Fusion?有没有办法通过管道调用 Bing-ads api 并通过 Google Data Fusion 将数据加载到 Bigquery 中？
【发布时间】：2019-05-09 06:16:31
【问题描述】：

我正在 Google Data Fusion 中创建一个管道，允许我使用我的 bing-ads 开发人员令牌将我的 bing-ads 数据导出到 Bigquery。我在数据融合中找不到任何应该添加到我的管道中的数据源。 Google Data Fusion 是否支持从 API 调用中获取数据？如果支持，如何实现？

【问题讨论】：

标签： rest google-bigquery bing-ads-api google-cloud-data-fusion cdap

【解决方案1】：

Cloud Data Fusion 基于 HTTP 的源目前正在开发中，将于第三季度发布。您能否再详细说明一下您的用例，以便我们确保您的需求将被这些插件覆盖？例如，您是要构建批处理还是实时管道？

与此同时，您有以下两个更直接的选择/解决方法：

如果您可以在将数据加载到 BigQuery 之前将数据存储在 GCS 的暂存区域中，则可以使用 Hub 中提供的 HTTPToHDFS 插件。使用以 gs:///path/to/file 开头的路径
另外，我们也欢迎贡献，因此您也可以使用 Cloud Data Fusion API 构建插件。我们很乐意为您提供指导，并可以为您提供文档和示例。

【讨论】：

我在这里查看更多计划的批处理作业。我注意到企业版的流管道中有一个 http-poller 数据源，但我无法使用它运行任何东西。由于我将通过 bing-ads api 获取 xml 数据，因此我尝试运行集线器提供的 XML 解析器管道。运行失败并出现错误：“java.lang.ClassCastException：无法将 io.cdap.plugin.common.http.HTTPPollConfig 的实例分配给 io.cdap.plugin.spark.HTTPPollerSource.conf 类型的 io.cdap.plugin 字段。 io.cdap.plugin.spark.HTTPPollerSource 实例中的 common.http.HTTPPollConfig"
看起来云数据融合仍在开发中，目前不支持 http 调用。我得到了 http-poller 数据源，用于在 CDAP 中进行 http 调用。尽管如此，我还是无法通过 CDAP 管道完成 Bing-ads api 请求，因为该请求似乎应该通过 oauth 进程，而这在 CDAP 中目前是不可能的。谢谢。