在python中将每日数据汇总并汇总到月份

Question

我在 Python 中有一个二维列表，其中包含一天的纪元秒数和相应的值。我需要将此列表聚合成一个 json 月份数组以及所有相应每日值的总和。

python 列表如下所示：

array = [[1230768000000, 23], [1244073599000, 5], [1269206974000, 8], [1291908086000, 23]...]

我需要将它 jsonify 成一个如下所示的 json 数组：

[{key:'2009-01',value:28},{key:'2009-02',value:324} ... ]

我已经尝试了以下代码，但它并不能完全输出我需要的内容。

month_aggregate = defaultdict(list)
for [d,v] in array:
  truncated = int(str(d)[:-3])
  year_month = datetime.utcfromtimestamp(truncated).date().isoformat()[:-3]
  month_aggregate[year_month].append(v)

>> {'2011-08': [559, 601, 545, 578], '2011-09': [572, 491, 595], ... }

非常感谢提示

Answer 1

试试这个：

array = [[1230768000000, 23], [1244073599000, 5], [1269206974000, 8], [1291908086000, 23]]

month_aggregate = dict()
for [d,v] in array:
    truncated = int(str(d)[:-3])    
    year_month = datetime.utcfromtimestamp(truncated).date().isoformat()[:-3]
    # If the entry was not present previously create one with the current value v
    if not month_aggregate.has_key(year_month):
        month_aggregate[year_month] = v
    else:
        # Otherwise add the value to the previous entry
        month_aggregate[year_month] += v

# Create a JSON Array from the month_aggregate dictionary
month_aggregate_json_list = [ {'value':v, 'key':k} for k, v in month_aggregate.iteritems() ]
print month_aggregate_json_list

给这个

[{'key': '2009-01', 'value': 23}, {'key': '2009-06', 'value': 5}, {'key': '2010-03', 'value': 8}, {'key': '2010-12', 'value': 23}]

Answer 2

这正是 itertools 中的 groupby 的用途。 Group by 返回迭代器，该迭代器将使用给定函数来确定项目所属的组，并为每个组返回一个迭代器，该迭代器迭代该组中的所有项目。

from itertools import groupby
from time import gmtime, strftime 
# gmtime uses the UTC timezone, use the function localtime if preferred

def get_year_month_from_datum((millis, _value)):
    return strftime("%Y-%m", gmtime(millis / 1000))

aggregate = {key: sum(value for _time, value in values)
    for key, values in groupby(array, get_year_month_from_datum)} 

json_aggr = [{"key": key, "value": sum(value for _time, value in values)} 
    for key, values in groupby(array, get_year_month_from_datum)]

groupby 函数假定输入数组已经根据分组值排序，如果没有，则按 sorted(array) 而不是 array 分组将起作用。

Answer 3

以下答案使用 Collections 中的 Counter 类，这可能是解决此问题的最佳/最快数据类型

from operator import add
from collections import Counter

l = [[1230768000000, 23], [1244073599000, 5], [1269206974000, 8], [1291908086000, 23]]

getDate = lambda x: time.strftime('%Y-%m', time.localtime(x/1000))
counter = reduce(add,[Counter({getDate(key):val}) for key,val in l])

此时，如果您真的想将所有信息转换回 json，那么您就有了一个不错的 Collections 数据类型，只需使用列表推导...

json = [{'key':k,'value':v} for k,v in counter.iteritems()]

Answer 4

尝试使用集合中的计数器。前几天我发现了它，它很有用。

from collections import Counter
month_aggregate = Counter()
for [d,v] in array:
    truncated = int(str(d)[:-3])
    year_month = datetime.utcfromtimestamp(truncated).date().isoformat()[:-3]
    month_aggregate[year_month] += v
    [{"key":k, "value":v} for k,v in month_aggregate.items()]

给出：

[{'key': '2009-06', 'value': 5},
 {'key': '2010-03', 'value': 8},
 {'key': '2010-12', 'value': 23},
 {'key': '2009-01', 'value': 23}]