【问题标题】:Creating summary statistics from timestamped traffic counters从带时间戳的流量计数器创建汇总统计信息
【发布时间】:2013-12-27 18:39:54
【问题描述】:

我正在为一个特殊的用例收集交通信息,我有大约。每 10 分钟(但不精确)流量计数器的时间戳值,例如:

11:45 100
11:56 110
12:05 120
12:18 130
...

这是我拥有的数据,我无法改进。

我想从这个输入中产生某种每小时/每天的统计数据,你能推荐一些python中的现成函数或算法吗?

我正在考虑将带时间戳的计数器分成几小时,并将该小时的第一个时间戳与最后一个时间戳相比较,并将差异显示为给定小时的流量,但是因为这可能不精确地从小时开始(例如对于上面的数据,它从 120 @ 12:05 开始,它可能是相当偏离的,最好也按比例包含以前的数据(例如 ((120-110)/9)*5)。但是我不想重新发明轮子。

-- 更新--

根据以下建议,我研究了 pandas 并生成了以下代码。作为对上述书面背景的澄清,时间戳值是秒级的,并且在分钟内不规则分布(例如 11:45:03、11:56:34 等)。所以下面的代码接受输入,将其重新索引到第二级,执行线性插值(假设流量在测量点之间均匀分布),减少第一个和最后一个小数分钟(这样如果第一个数据点在 11:45 :03,它不会因为缺少前 3 秒而失真)并将秒级数据重新采样到分钟级。这现在按预期工作,但是它非常慢,我猜是由于二级插值,因为数据总共跨越了几个月。任何想法如何进一步改进或加速代码?

import datetime
import pandas as pd
import numpy as np
import math

COLUMNS = ['date', 'lan_in', 'inet_in', 'lan_out', 'inet_out']

ts_converter = lambda x: datetime.datetime.fromtimestamp(int(x))
td = pd.read_table("traffic_log",
                   names = COLUMNS,
                   delim_whitespace = True,
                   header = None,
                   converters = { 'date' : ts_converter }).set_index('date')

# reindex to second-level data
td = td.reindex(pd.date_range(min(td.index), max(td.index), freq="s"))
# linear interpolation to fill data for all seconds
td = td.apply(pd.Series.interpolate)
# cut first and last fractional minute data
td = td[pd.Timestamp(long(math.ceil(td.index.min().value/(1e9*60))*1e9*60)):
        pd.Timestamp(long(math.floor(td.index.max().value/(1e9*60))*1e9*60))]
# resample to minute-level taking the minimum value for each minute
td = td.resample("t", how="min")
# change absolute values to differences
td = td.apply(pd.Series.diff)
# create daily statistics in gigabytes
ds = td.resample("d", how="sum").apply(lambda v: v/1024/1024/1024)
# create speed columns
for i in COLUMNS[1:]:
    td[i+'_speed'] = td[i] / 60 / 1024

【问题讨论】:

标签: python algorithm pandas statistics


【解决方案1】:

如果我正确理解了您的问题,也许这会有所帮助:

df = pd.DataFrame( [ ['11:45', 100 ], ['11:56', 110], ['12:05', 120], ['12:18', 130]], 
                   columns=['tick', 'val'] )
df.tick = df.tick.map ( pd.Timestamp )

所以df 看起来像这样:

                 tick  val
0 2013-12-10 11:45:00  100
1 2013-12-10 11:56:00  110
2 2013-12-10 12:05:00  120
3 2013-12-10 12:18:00  130

现在您可以计算每个间隔的长度,并找到每小时平均值:

df[ 'period' ] = df.tick - df.tick.shift( 1 )
df.period = df.period.div( np.timedelta64( '1', 'h' ) )
df[ 'chval' ] = df.val - df.val.shift( 1 )
df[ 'havg' ] = df.chval / df.period  

输出:

                 tick  val  period  chval     havg
0 2013-12-10 11:45:00  100     NaN    NaN      NaN
1 2013-12-10 11:56:00  110  0.1833     10  54.5455
2 2013-12-10 12:05:00  120  0.1500     10  66.6667
3 2013-12-10 12:18:00  130  0.2167     10  46.1538

考虑到某些时段跨越一小时,我认为一种解决方案是将频率更改为分钟,向后填充所有 nan 值,然后使用平均值计算每小时重新采样:

df = df.set_index( 'tick' ).asfreq( freq='T', method='bfill' )
df = df.shift( -1 ).resample( 'h', how='mean' ) 

输出:

                          val  period  chval     havg
2013-12-10 11:00:00  112.6667  0.1744     10  57.7778
2013-12-10 12:00:00  127.2222  0.1981     10  51.8519

现在我认为havg 的值是正确的,因为

( 10 + 10 * 4 / 9 ) / 15 * 60 = 57.7778
(      10 * 5 / 9 + 10 ) / 18 * 60 = 51.8519

【讨论】:

  • 谢谢,这看起来不错,但除了速度之外,我还需要流量总和,即我应该将此数据集转换为常规的分钟级数据集,例如 12:00 的点,值为 110 +10*4/9(假设测量区间内速度分布均匀),我该怎么做?
  • @abali 即插值,见this
  • 谢谢,这可行,但速度很慢 - 我已经编辑了更新的问题,欢迎任何进一步的建议。
猜你喜欢
  • 2020-12-29
  • 1970-01-01
  • 2015-09-22
  • 1970-01-01
  • 2019-08-18
  • 2019-03-19
  • 2014-02-01
  • 1970-01-01
  • 2014-04-09
相关资源
最近更新 更多