来自依赖子集的大数据帧中每行的多个新聚合

我在R中有一个大数据框,我想基于现有列创建一些新列.但是,对于每一行,新值还取决于其他一些行.

这是一些虚拟数据

colnames <- c('date', 'docnr', 'clientid', 'values')
docnr <- c(1,2,3,4,5,6)
dates <- c('2017-01-01', '2017-02-01', '2017-03-01', '2017-04-01','2017-01-05', '2017-02-05')
clients <- c(1,1,1,1,2,2)
values <- c(10,14,4,7,9,19)
df <- data.frame(cbind(dates, docnr, clients, values))
names(df) <- colnames
df$date <- as.Date(df$date, format = "%Y-%m-%d")

df
        date docnr clientid values
1 2017-01-01     1        1     10
2 2017-02-01     2        1     14
3 2017-03-01     3        1      4
4 2017-04-01     4        1      7
5 2017-01-05     5        2      9
6 2017-02-05     6        2     19

我想要做的是,每一行(由docnr唯一标识)获取日期和客户端ID,并找到具有相同clientid和更早日期的所有其他行.

然后,我想从这个子集中计算一些东西.例如,我想要该子集中的总行数以及该子集的所有值的总和.

所以对于这个示例数据,我希望：

date docnr clientid values counts totals
1 2017-01-01     1        1     10      0      0
2 2017-02-01     2        1     14      1     10
3 2017-03-01     3        1      4      2     24
4 2017-04-01     4        1      7      3     28
5 2017-01-05     5        2      9      0      0
6 2017-02-05     6        2     19      1      9

目前,我使用for循环：

counts <- numeric(0)
totals <- numeric(0)
for (i in 1:nrow(df)) {
  tmp <- df[df$date< df$date[i] & df$clientid== df$clientid[i],
               c( "date", "docnr","value")]
  cnt <- nrow(tmp)
  tot <- sum(tmp$value)
  counts[i] <- res
  totals[i] <- tot
}
df$counts <- counts
df$totals <- totals

对于700k行的数据帧(尚未完成运行),这个循环显然非常慢.使用doSNOW的并行实现似乎没有更好的扩展.

我尝试过使用sqldf的sql查询,但子查询一次只能返回1个值,这意味着我想要定义的每个新列都运行查询(我想稍后再添加更多的派生列) .

我遇到了一个带有SQL对象的解决方案(Is it possible to get multiple values from a subquery?),但是对象在R的sqldf中不起作用.使用联接不起作用,因为第二个查询需要包含来自第一个查询的信息.

我刚开始使用R(并且我对sql也不是很熟悉),所以如果有人知道更有效的方法,我会非常感激.

这里有两行基本R代码,使用ave进行分组.

# get counts
df$counts <- ave(df$docnr, df$clientid, FUN=seq_along) - 1L
# get lagged cumulative sum
df$totals <- ave(df$values, df$clientid, FUN=function(x) c(0, head(cumsum(x), -1)))

这回来了

df
        date docnr clientid values counts totals
1 2017-01-01     1        1     10      0      0
2 2017-02-01     2        1     14      1     10
3 2017-03-01     3        1      4      2     24
4 2017-04-01     4        1      7      3     28
5 2017-01-05     5        2      9      0      0
6 2017-02-05     6        2     19      1      9

我怀疑上面的代码会对你描述的数据执行得足够快.但是,data.table是一个推荐的包,用于处理可能有数十亿行的数据.与data.table中的上述代码类似

library(data.table)
setDT(df)[, c("counts", "totals") := .(seq_len(.N) - 1L, shift(cumsum(values), fill=0)),
          by=clientid]

其中seq_len(.N)填充seq_along的角色,shift在前面的代码中填充c(0,head(cumsum(x), – 1))的角色.

这将返回一个data.table,其值与上面相同.

df
         date docnr clientid values counts totals
1: 2017-01-01     1        1     10      0      0
2: 2017-02-01     2        1     14      1     10
3: 2017-03-01     3        1      4      2     24
4: 2017-04-01     4        1      7      3     28
5: 2017-01-05     5        2      9      0      0
6: 2017-02-05     6        2     19      1      9

数据

df <- 
structure(list(date = structure(c(17167, 17198, 17226, 17257, 
17171, 17202), class = "Date"), docnr = c(1, 2, 3, 4, 5, 6), 
    clientid = c(1, 1, 1, 1, 2, 2), values = c(10, 14, 4, 7, 
    9, 19)), .Names = c("date", "docnr", "clientid", "values"
), row.names = c(NA, -6L), class = "data.frame")