API 中缺少 JSON 字段时的防御条件答案

【问题标题】：Defensive conditions when JSON field is missing in APIAPI 中缺少 JSON 字段时的防御条件
【发布时间】：2016-01-07 17:45:10
【问题描述】：

我正在开发一个小的 Python 脚本，以便从 forecast.io 获取天气数据。一旦我得到 JSON 文档，我调用一个类来创建要保存在数据库中的新记录。问题是某些字段（也是我的类中的属性）并不总是在 API 中得到通知，因此我必须包含某种防御性代码，否则当找不到字段时脚本会中断。

我找到了@Alex Martelli 的这个答案，它的接缝非常好：Reading from Python dict if key might not be present

如果你想做一些不同于使用默认值的事情（比如，当钥匙不存在时完全跳过打印），那么你需要一个更多结构，即：
for r in results:
    if 'key_name' in r:
        print r['key_name'] 
或
for r in results:
    try: print r['key_name']
    except KeyError: pass

但我想知道是否必须在要保存的每个字段上都包含“如果”或“尝试”，或者是否有更漂亮的方法来做到这一点？（我想保存 27 个字段和 27 个“如果”看起来很丑）

这是我目前的代码：

from datetime import datetime

import tornado.web
import tornado.httpclient
from tornado import gen

from src.db.city import list_cities
from src.db.weather import Weather

from motorengine import *


@gen.coroutine
def forecastio_api():
    http_client = tornado.httpclient.AsyncHTTPClient()
    base_url = "https://api.forecast.io/forecast/APIKEY"
    city yield list_cities()
    for city in city:
        url = base_url + "/%s,%s" %(str(city.loc[0]), str(city.loc[1]))
        response = yield http_client.fetch(url)
        json = tornado.escape.json_decode(response.body)
        for day in json['daily']['data']:
            weather = Weather(city=city,
                              time = datetime.fromtimestamp(day['time']),
                              summary = day.get('summary'),
                              icon = day.get('icon'),
                              sunrise_time = datetime.fromtimestamp(day.get('sunriseTime')),
                              sunset_time = datetime.fromtimestamp(day.get('sunsetTime')),
                              moon_phase = day.get('moonPhase'),
                              precip_intensity = day.get('precipIntensity'),
                              precip_intensity_max = day.get('precipIntensityMax'),
                              precip_intensity_max_time = datetime.fromtimestamp(day.get('precipIntensityMaxTime')),
                              precip_probability = day.get('precipProbability'),
                              precip_type = day.get('precipType'),
                              temperature_min = day.get('temperatureMin'),
                              temperature_min_time = datetime.fromtimestamp(day.get('temperatureMinTime')),
                              temperature_max = day.get('temperatureMax'),
                              temperature_max_time = datetime.fromtimestamp(day.get('temperatureMaxTime')),
                              apparent_temperature_min = day.get('apparentTemperatureMin'),
                              apparent_temperature_min_time = datetime.fromtimestamp(day.get('apparentTemperatureMinTime')),
                              apparent_temperature_max = day.get('apparentTemperatureMax'),
                              apparent_temperature_max_time = datetime.fromtimestamp(day.get('apparentTemperatureMaxTime')),
                              dew_point = day.get('dewPoint'),
                              humidity = day.get('humidity'),
                              wind_speed = day.get('windSpeed'),
                              wind_bearing = day.get('windBearing'),
                              visibility = day.get('visibility'),
                              cloud_cover = day.get('cloudCover'),
                              pressure = day.get('pressure'),
                              ozone = day.get('ozone')
            )
            weather.create()


if __name__ == '__main__':
    io_loop = tornado.ioloop.IOLoop.instance()
    connect("DATABASE", host="localhost", port=27017, io_loop=io_loop)
    forecastio_api()
    io_loop.start()

这是使用 Motornegine 的天气类：

from tornado import gen
from motorengine import Document
from motorengine.fields import DateTimeField, DecimalField, ReferenceField, StringField

from src.db.city import City


class Weather(Document):
    __collection__ = 'weather'
    __lazy__ = False
    city = ReferenceField(reference_document_type=City)
    time = DateTimeField(required=True)
    summary = StringField()
    icon = StringField()
    sunrise_time = DateTimeField()
    sunset_time = DateTimeField()
    moon_phase = DecimalField(precision=2)
    precip_intensity = DecimalField(precision=4)
    precip_intensity_max = DecimalField(precision=4)
    precip_intensity_max_time = DateTimeField()
    precip_probability = DecimalField(precision=2)
    precip_type = StringField()
    temperature_min = DecimalField(precision=2)
    temperature_min_time = DateTimeField()
    temperature_max = DecimalField(precision=2)
    temperature_max_time = DateTimeField()
    apparent_temperature_min = DecimalField(precision=2)
    apparent_temperature_min_time = DateTimeField()
    apparent_temperature_max = DecimalField(precision=2)
    apparent_temperature_max_time = DateTimeField()
    dew_point = DecimalField(precision=2)
    humidity = DecimalField(precision=2)
    wind_speed = DecimalField(precision=2)
    wind_bearing = DecimalField(precision=2)
    visibility = DecimalField(precision=2)
    cloud_cover = DecimalField(precision=2)
    pressure = DecimalField(precision=2)
    ozone = DecimalField(precision=2)
    create_time = DateTimeField(auto_now_on_insert=True)

    @gen.coroutine
    def create(self):
        yield self.save()

【问题讨论】：

您希望您的代码对每个缺失的字段做什么？
因为没有一个是强制性的，我在创建班级记录时不会包括它们。该类由 Mongoengine 使用，一个 Mongodb ODM
提供更多代码可能会有所帮助。如果每个字段不存在，您会为每个字段做不同的事情吗？或者它只是NULL或None？了解如何将 json 转换为 Class 会很有帮助。
你正在处理的不是 json，字段（你要保存的结果）都像 python 字典一样分组在一起，还是你有 27 个 json 文件？
它们都分组在一个 JSON 文件中

标签： python json api mongoengine

【解决方案1】：

您可以查看Schematics。该库可帮助您定义可以轻松从 dicts 填充的对象（您可以轻松地将 json 转换为 python dict）。它允许您在每个属性上定义验证规则。当某些属性丢失或格式错误时，该对象将抛出ModelValidationError 错误。 Schematics 允许您在定义模型时添加默认值和更多好东西。

【讨论】：