【发布时间】:2020-09-17 00:20:45
【问题描述】:
比如我在做一个json文件的ETL,有时候这个文件没有自带一些jsons的key,所以需要用缺失的key和null作为value来填充缺失的key和value。
这是一个json文件的例子:
"data" :{
"data_info" :{
"version" :value ,
"data_name" : value ,
"data_number" : value ,
"package_name" : value
}
这是缺少字段的场景:
"data" :{
"data_info" :{
"data_name" : value ,
"package_name" : value
}
这是我想做的事情:
"data" :{
"data_info" :{
"version" :null ,
"data_name" : value ,
"data_number" : null ,
"package_name" : value
}
我正在使用带有 python SDK 的 apache beam,并尝试过,但没有成功...
def fill_missing_keys(data):
data = json.loads(data['metadata'])
data = {'data': {'data_info': data.get("data_name", None) {'version': data.get("version", None) , 'data_name': data.get("version", None)... }
return data
【问题讨论】:
标签: python json etl apache-beam