【发布时间】:2016-04-08 05:03:26
【问题描述】:
我正在从一个 api 访问天气数据,并想使用 Apache nifi 来获取第一个 api 返回的 json 数组中所有城市的天气数据?
基本上我通过 2 个 API 访问数据:
此 api 返回一个 JSON 数组,其中包含 JSON 数组元素中的美国所有城市的列表:
{
"response": {
"version":"0.1",
"termsofService":"http://www.wunderground.com/weather/api/d/terms.html",
"features": {
"conditions": 1
}
, "results": [
{
"name": "Keyhole",
"city": "Keyhole",
"state": "WY",
"country": "US",
"country_iso3166":"US",
"country_name":"USA",
"zmw": "82721.7.99999",
"l": "/q/zmw:82721.7.99999"
}
,
{
"name": "Cuchara Valley Airport At La Veta",
"city": "Cuchara Valley Airport At La Veta",
"state": "CO",
"country": "US",
"country_iso3166":"US",
"country_name":"USA",
"zmw": "81055.6.99999",
"l": "/q/zmw:81055.6.99999"
}
,
现在我想遍历这个数组并使用州和城市信息在另一个 API 中使用,如下所示:
{
"response": {
"version":"0.1",
"termsofService":"http://www.wunderground.com/weather/api/d/terms.html",
"features": {
"conditions": 1
}
}
, "current_observation": {
"image": {
"url":"http://icons.wxug.com/graphics/wu2/logo_130x80.png",
"title":"Weather Underground",
"link":"http://www.wunderground.com"
},
"display_location": {
"full":"San Francisco, CA",
"city":"San Francisco",
"state":"CA",
"state_name":"California",
"country":"US",
"country_iso3166":"US",
"zip":"94101",
"magic":"1",
"wmo":"99999",
"latitude":"37.77500916",
"longitude":"-122.41825867",
"elevation":"47.00000000"
},
"observation_location": {
"full":"SOMA - Near Van Ness, San Francisco, California",
"city":"SOMA - Near Van Ness, San Francisco",
"state":"California",
"country":"US",
"country_iso3166":"US",
"latitude":"37.773285",
"longitude":"-122.417725",
"elevation":"49 ft"
},...
所以基本上我必须为我从第一个 API 获得的所有州和城市组合循环运行第二个 api。
到目前为止,我所做的基本 NiFi 流程与这个问题一样,但它不起作用。有人可以帮我弄清楚我在这里做错了什么吗?
【问题讨论】:
-
看起来你在正确的轨道上,但是对于第二个 API 调用,你应该如何指定你想要信息的城市/州?它是作为标题、在 URL 中编码还是作为内容发布?
-
我将在 URL 中为第二个 API 使用城市/州信息:api.wunderground.com/api/key/conditions/q/${state}/${city} .j儿子,您能否建议如何针对我将从第一个 API 获得的州/城市的不同组合为该处理器实现一个循环
-
图像中的流,经过适当的配置,可用于此应用程序。我注意到的一件事是,您的所有关系(包括失败和不匹配)路由都与成功一致。这使您很难说出什么不起作用。如果您将故障路由到另一个处理器(如日志属性),您可以看到问题所在。此外,为了确定,您在图像中拥有的许多处理器都被禁用或无效(未正确配置)您是否解决了这些问题?
-
非常感谢您的帮助。关于附加数据流,我现在留下的问题如下 1) 我使用此 JSON 路径表达式拆分第一个 API 返回的第一个 JSON SplitJson 处理器:$.response.results[*]。我希望现在能够使用这个状态/城市信息来递归调用 invokeHttp 处理器(我还不能实现那部分。2)在完成这一切后,我想使用 StoreInKiteDataset 处理器存储输出,该处理器仍然不接受 Hive URI。@JDP10101
-
我会将您的问题的答案放在下面的答案部分,并继续在这里提问。当您将鼠标悬停在 StoreInKiteDataBase 左上角的黄色图标上时,它会说什么?
标签: json hortonworks-data-platform apache-nifi