【问题标题】:How can I use Apache NiFi to retrieve attributes after splitting a JSON and use those attributes recursively in the invokeHttp processor?如何在拆分 JSON 后使用 Apache NiFi 检索属性并在 invokeHttp 处理器中递归使用这些属性?
【发布时间】:2016-04-08 05:03:26
【问题描述】:

我正在从一个 api 访问天气数据,并想使用 Apache nifi 来获取第一个 api 返回的 json 数组中所有城市的天气数据?

基本上我通过 2 个 API 访问数据:

此 api 返回一个 JSON 数组,其中包含 JSON 数组元素中的美国所有城市的列表:

{
  "response": {
  "version":"0.1",
  "termsofService":"http://www.wunderground.com/weather/api/d/terms.html",
  "features": {
  "conditions": 1
  }
        , "results": [
        {
        "name": "Keyhole",
        "city": "Keyhole",
        "state": "WY",
        "country": "US",
        "country_iso3166":"US",
        "country_name":"USA",
        "zmw": "82721.7.99999",
        "l": "/q/zmw:82721.7.99999"
        }
        ,
        {
        "name": "Cuchara Valley Airport At La Veta",
        "city": "Cuchara Valley Airport At La Veta",
        "state": "CO",
        "country": "US",
        "country_iso3166":"US",
        "country_name":"USA",
        "zmw": "81055.6.99999",
        "l": "/q/zmw:81055.6.99999"
        }
        ,

现在我想遍历这个数组并使用州和城市信息在另一个 API 中使用,如下所示:

{
  "response": {
  "version":"0.1",
  "termsofService":"http://www.wunderground.com/weather/api/d/terms.html",
  "features": {
  "conditions": 1
  }
    }
  , "current_observation": {
        "image": {
        "url":"http://icons.wxug.com/graphics/wu2/logo_130x80.png",
        "title":"Weather Underground",
        "link":"http://www.wunderground.com"
        },
        "display_location": {
        "full":"San Francisco, CA",
        "city":"San Francisco",
        "state":"CA",
        "state_name":"California",
        "country":"US",
        "country_iso3166":"US",
        "zip":"94101",
        "magic":"1",
        "wmo":"99999",
        "latitude":"37.77500916",
        "longitude":"-122.41825867",
        "elevation":"47.00000000"
        },
        "observation_location": {
        "full":"SOMA - Near Van Ness, San Francisco, California",
        "city":"SOMA - Near Van Ness, San Francisco",
        "state":"California",
        "country":"US",
        "country_iso3166":"US",
        "latitude":"37.773285",
        "longitude":"-122.417725",
        "elevation":"49 ft"
        },...

所以基本上我必须为我从第一个 API 获得的所有州和城市组合循环运行第二个 api。

到目前为止,我所做的基本 NiFi 流程与这个问题一样,但它不起作用。有人可以帮我弄清楚我在这里做错了什么吗?

Hortonworks Dataflow on HDP 2.4 Sandbox

SplitJson Processor Configuration

【问题讨论】:

  • 看起来你在正确的轨道上,但是对于第二个 API 调用,你应该如何指定你想要信息的城市/州?它是作为标题、在 URL 中编码还是作为内容发布?
  • 我将在 URL 中为第二个 API 使用城市/州信息:api.wunderground.com/api/key/conditions/q/${state}/${city} .j‌​儿子,您能否建议如何针对我将从第一个 API 获得的州/城市的不同组合为该处理器实现一个循环
  • 图像中的流,经过适当的配置,可用于此应用程序。我注意到的一件事是,您的所有关系(包括失败和不匹配)路由都与成功一致。这使您很难说出什么不起作用。如果您将故障路由到另一个处理器(如日志属性),您可以看到问题所在。此外,为了确定,您在图像中拥有的许多处理器都被禁用或无效(未正确配置)您是否解决了这些问题?
  • 非常感谢您的帮助。关于附加数据流,我现在留下的问题如下 1) 我使用此 JSON 路径表达式拆分第一个 API 返回的第一个 JSON SplitJson 处理器:$.response.results[*]。我希望现在能够使用这个状态/城市信息来递归调用 invokeHttp 处理器(我还不能实现那部分。2)在完成这一切后,我想使用 StoreInKiteDataset 处理器存储输出,该处理器仍然不接受 Hive URI。@JDP10101
  • 我会将您的问题的答案放在下面的答案部分,并继续在这里提问。当您将鼠标悬停在 StoreInKiteDataBase 左上角的黄色图标上时,它会说什么?

标签: json hortonworks-data-platform apache-nifi


【解决方案1】:

解答cmets中暴露的问题:

对于 SplitJSON,您要使用的 JSON 路径表达式是 *.results.*,这会将 JSON 拆分为每个结果的 FlowFile。您拥有的 EvaluateJSONPath 配置应该与更新的 SplitJSON 一起使用(刚刚在模板中测试过)。

您为 InvokeHttp URL 提供的表达式语言 (EL) 几乎就在那里。您需要做的一件事是使用 EL“urlEncode”对城市和州进行 URL 编码,如下所示:api.wunderground.com/api/key/conditions/q/${state:urlEncode()}/${city:urlEncode()}.j‌​son

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-01-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多