如何查找监控位置的开始和结束日期答案

【问题标题】：How to find start and end dates of monitoring locations如何查找监控位置的开始和结束日期
【发布时间】：2015-06-12 00:05:49
【问题描述】：

我有来自 NCDC 的气象数据集，每个站点每小时观测 30 到 70 年。每条记录包括气象站的ID、纬度、经度和海拔。一个站点（站点）可以在 70 年内多次移动，而无需更改站点名称或 ID。我想制作一个不同位置的“车站历史”列表，由纬度、经度和/或海拔（纬度、经度、海拔）的变化表示。我的 R 代码可以工作，直到我找到一个车站，经过几次移动后又回到了旧位置。那破坏了我的 R 代码。

一个站的数据大约有 770000 行和 35 列。我正在使用数据表。

具有两个站“A”和“B”的简化示例数据集：

require("data.table")   # ver 1.9.5
DT=data.table(site=c(rep("A",8),rep("B",4)),
                 date=c(seq(from=as.POSIXct("2014-03-01",tz="GMT"), by="day", length.out=8),
                            seq(from=as.POSIXct("2014-07-01",tz="GMT"), by="day", length.out=4)),
                 lat=c(rep(30.1,3),rep(30.2,3),rep(30.1,2),rep(40.3,2),rep(40.4,2)),
                 lon=rep(50.7,12),
                 elev=c(35.0,35,36,36,35,35,35,35,51,52,52,52),
                 x=as.numeric(1:12))   # x is some meteorological data
setkey(DT,site,date)
DT
#    site                date  lat  lon elev  x
#  1:    A 2014-03-01 01:00:00 30.1 50.7   35  1
#  2:    A 2014-03-02 01:00:00 30.1 50.7   35  2
#  3:    A 2014-03-03 01:00:00 30.1 50.7   36  3
#  4:    A 2014-03-04 01:00:00 30.2 50.7   36  4
#  5:    A 2014-03-05 01:00:00 30.2 50.7   35  5
#  6:    A 2014-03-06 01:00:00 30.2 50.7   35  6
#  7:    A 2014-03-07 01:00:00 30.1 50.7   35  7
#  8:    A 2014-03-08 01:00:00 30.1 50.7   35  8
#  9:    B 2014-07-01 02:00:00 40.3 50.7   51  9
# 10:    B 2014-07-02 02:00:00 40.3 50.7   52 10
# 11:    B 2014-07-03 02:00:00 40.4 50.7   52 11
# 12:    B 2014-07-04 02:00:00 40.4 50.7   52 12

每个站点的唯一位置列表是：

DT.loc <- unique(DT[,.(site,lat,lon,elev)])
DT.loc
#    site  lat  lon elev
# 1:    A 30.1 50.7   35
# 2:    A 30.1 50.7   36
# 3:    A 30.2 50.7   36
# 4:    A 30.2 50.7   35
# 5:    B 40.3 50.7   51
# 6:    B 40.3 50.7   52
# 7:    B 40.4 50.7   52

这将是我需要的大部分内容，但请注意在 DT 第 7-8 行中，站“A”返回到第一个位置。

所需的输出是位置列表，其中包含一个位置的每个观察期的第一个和最后一个日期。

#    site          date.first           date.last  lat  lon elev
# 1:    A 2014-03-01 01:00:00 2014-03-02 01:00:00 30.1 50.7   35
# 2:    A 2014-03-03 01:00:00 2014-03-03 01:00:00 30.1 50.7   36
# 3:    A 2014-03-04 01:00:00 2014-03-04 01:00:00 30.2 50.7   36
# 4:    A 2014-03-05 01:00:00 2014-03-06 01:00:00 30.2 50.7   35
# 5:    A 2014-03-07 01:00:00 2014-03-08 01:00:00 30.1 50.7   35
# 6:    B 2014-07-01 02:00:00 2014-07-01 02:00:00 40.3 50.7   51
# 7:    B 2014-07-02 02:00:00 2014-07-02 02:00:00 40.3 50.7   52
# 8:    B 2014-07-03 02:00:00 2014-07-04 02:00:00 40.4 50.7   52

我最初有以下代码来生成类似的列表，但它没有识别返回到旧位置。

# find first occurence of each location. 
# This requires DT to be keyed on site,lat,lon,elev,date
setkey(DT,site,lat,lon,elev,date)
DT.loc.first <- DT[DT.loc, mult="first", which=TRUE]
# find last occurence of each location
DT.loc.last <- DT[DT.loc, mult="last", which=TRUE]
# get first rows and select columns for history table
DT.hist <- DT[DT.loc.first, .(site,date.first=date,lat,lon,elev)]
# add date from last row for location
DT.hist[, date.last:=DT[DT.loc.last,date]]
# rearrange and sort the history table
DT.hist <- DT.hist[,.(site,date.first,date.last,lat,lon,elev)]
setkey(DT.hist,site,date.first)
DT.hist
#    site          date.first           date.last  lat  lon elev
# 1:    A 2014-03-01 01:00:00 2014-03-08 01:00:00 30.1 50.7   35
# 2:    A 2014-03-03 01:00:00 2014-03-03 01:00:00 30.1 50.7   36
# 3:    A 2014-03-04 01:00:00 2014-03-04 01:00:00 30.2 50.7   36
# 4:    A 2014-03-05 01:00:00 2014-03-06 01:00:00 30.2 50.7   35
# 5:    B 2014-07-01 02:00:00 2014-07-01 02:00:00 40.3 50.7   51
# 6:    B 2014-07-02 02:00:00 2014-07-02 02:00:00 40.3 50.7   52
# 7:    B 2014-07-03 02:00:00 2014-07-04 02:00:00 40.4 50.7   52

第一个位置的 date.last 实际上是第一个位置的第二次占用的 date.last，并且应该有一个单独的行（在上面的第 4 行之后），因为“A”站实际上有 5 个观察期.

如何创建所需的电台历史记录，以及某个位置每个连续时间段的第一个和最后一个日期？

【问题讨论】：

标签： r data.table

【解决方案1】：

Arun 对 Khashaa 回答的优雅回答：

# making use of DT's sort order on site,date:
DT.hist <- DT[, .(date.first=date[1L], date.last=date[.N]),
              by=.(rleid(site,lat,lon,elev),site,lat,lon,elev)]

# select columns and set sort key of result
DT.hist <- DT.hist[,.(date.last,lat,lon,elev),keyby=.(site,date.first)]
DT.hist
#    site          date.first           date.last  lat  lon elev
# 1:    A 2014-03-01 01:00:00 2014-03-02 01:00:00 30.1 50.7   35
# 2:    A 2014-03-03 01:00:00 2014-03-03 01:00:00 30.1 50.7   36
# 3:    A 2014-03-04 01:00:00 2014-03-04 01:00:00 30.2 50.7   36
# 4:    A 2014-03-05 01:00:00 2014-03-06 01:00:00 30.2 50.7   35
# 5:    A 2014-03-07 01:00:00 2014-03-08 01:00:00 30.1 50.7   35
# 6:    B 2014-07-01 02:00:00 2014-07-01 02:00:00 40.3 50.7   51
# 7:    B 2014-07-02 02:00:00 2014-07-02 02:00:00 40.3 50.7   52
# 8:    B 2014-07-03 02:00:00 2014-07-04 02:00:00 40.4 50.7   52

这会在不修改 DT 或更改 DT 的密钥的情况下创建历史表。将 site,lat,lon,elev 添加到 by= 会干净地将这些列添加到输出中，即使它们不会更改分组（冗余到 rleid）。

或者，在 by= 中没有 site,lat,lon,elev ：

DT.hist2 <- DT[, .(date.first=date[1L], date.last=date[.N],
               lat=lat[1L], lon=lon[1L], elev=elev[1L]), 
               by=.(rleid(site,lat,lon,elev))]

但这更多的是打字，而不是更容易阅读。

【讨论】：