【发布时间】:2013-12-27 18:39:54
【问题描述】:
我正在为一个特殊的用例收集交通信息,我有大约。每 10 分钟(但不精确)流量计数器的时间戳值,例如:
11:45 100
11:56 110
12:05 120
12:18 130
...
这是我拥有的数据,我无法改进。
我想从这个输入中产生某种每小时/每天的统计数据,你能推荐一些python中的现成函数或算法吗?
我正在考虑将带时间戳的计数器分成几小时,并将该小时的第一个时间戳与最后一个时间戳相比较,并将差异显示为给定小时的流量,但是因为这可能不精确地从小时开始(例如对于上面的数据,它从 120 @ 12:05 开始,它可能是相当偏离的,最好也按比例包含以前的数据(例如 ((120-110)/9)*5)。但是我不想重新发明轮子。
-- 更新--
根据以下建议,我研究了 pandas 并生成了以下代码。作为对上述书面背景的澄清,时间戳值是秒级的,并且在分钟内不规则分布(例如 11:45:03、11:56:34 等)。所以下面的代码接受输入,将其重新索引到第二级,执行线性插值(假设流量在测量点之间均匀分布),减少第一个和最后一个小数分钟(这样如果第一个数据点在 11:45 :03,它不会因为缺少前 3 秒而失真)并将秒级数据重新采样到分钟级。这现在按预期工作,但是它非常慢,我猜是由于二级插值,因为数据总共跨越了几个月。任何想法如何进一步改进或加速代码?
import datetime
import pandas as pd
import numpy as np
import math
COLUMNS = ['date', 'lan_in', 'inet_in', 'lan_out', 'inet_out']
ts_converter = lambda x: datetime.datetime.fromtimestamp(int(x))
td = pd.read_table("traffic_log",
names = COLUMNS,
delim_whitespace = True,
header = None,
converters = { 'date' : ts_converter }).set_index('date')
# reindex to second-level data
td = td.reindex(pd.date_range(min(td.index), max(td.index), freq="s"))
# linear interpolation to fill data for all seconds
td = td.apply(pd.Series.interpolate)
# cut first and last fractional minute data
td = td[pd.Timestamp(long(math.ceil(td.index.min().value/(1e9*60))*1e9*60)):
pd.Timestamp(long(math.floor(td.index.max().value/(1e9*60))*1e9*60))]
# resample to minute-level taking the minimum value for each minute
td = td.resample("t", how="min")
# change absolute values to differences
td = td.apply(pd.Series.diff)
# create daily statistics in gigabytes
ds = td.resample("d", how="sum").apply(lambda v: v/1024/1024/1024)
# create speed columns
for i in COLUMNS[1:]:
td[i+'_speed'] = td[i] / 60 / 1024
【问题讨论】:
标签: python algorithm pandas statistics