使用data.tables,尝试按列索引聚合数据

我在使用data.table包时遇到了一些麻烦.我正在使用这个包,因为它似乎非常快速和高效的内存,它将工作在一个非常大的数据集(约6米x 300).

所以,基本上我遇到的问题的一个例子是：

AA <- matrix(runif(50,0,100), 10,5)
AA <- data.table(AA)
colnames(AA) <- c("one","two","three","four","five")
AA[,"key"] <- c(1:10)
setkey(AA,key)

BB <- matrix(c("A1","A1","B1","A1","C1","F1","T1","Y1","S1","S1","B2","C2","V2","G2","R2","U2","P2","Q2","A2","R2"),10,2)
BB <- data.table(BB)
BB[,"key"] <- c(1:10)
setkey(BB,key)

CC <- AA[BB]

这给出了以下内容

> CC
  key       one       two     three     four     five V1 V2
 [1,]   1 70.528360  7.901987 66.827238 44.51487 26.22273 A1 B2
 [2,]   2 38.560889 31.808611  7.877950 34.51093 51.27989 A1 C2
 [3,]   3 70.164154 16.636281 59.127573 79.95673 19.07643 B1 V2
 [4,]   4 82.019267 86.958215  3.335632 44.19048 46.29047 A1 G2
 [5,]   5 24.980403 25.352212 78.240760 93.69818 46.64401 C1 R2
 [6,]   6  1.062644 30.214449 15.920193 35.15496 97.86995 F1 U2
 [7,]   7  5.242374 47.591899 56.879902 70.05319 82.48689 T1 P2
 [8,]   8 69.646271 69.576102 38.766948 38.62866 74.69404 Y1 Q2
 [9,]   9 25.335255 54.638416  5.777238 80.87692 34.11951 S1 A2
[10,]  10 54.844424 18.645826 59.370042 48.24352 84.02630 S1 R2

我想要做的是通过V1和V2聚合数据

> CC[,length(one), by=V1]
     V1 V1.1
[1,] A1    3
[2,] B1    1
[3,] C1    1
[4,] F1    1
[5,] T1    1
[6,] Y1    1
[7,] S1    2

> CC[,length(one), by=V2]
  V2 V1
[1,] B2  1
[2,] C2  1
[3,] V2  1
[4,] G2  1
[5,] R2  2
[6,] U2  1
[7,] P2  1
[8,] Q2  1
[9,] A2  1

我遇到的问题是,如果我不明确知道我想要聚合的列的名称,或者如果我想循环说100列获得100个不同的聚合,我该怎么做？

data.table参考手册说这是有效的,因为变量在数据表的范围内引用,因此CC [,V1]将给出一列,而CC [,“V1”]则不会.它说你可以使用类似的东西

x <- quote(V1)
CC[,length(one), by=eval(x)]

但这似乎没有用,我尝试了一些事情,比如在向量中设置变量名以及quote(),noquote(),enquote()的各种组合但我似乎无法弄清楚如果它是可能的.

如何设置它以循环遍历每个聚合的列名列表？

如果没有,有没有更好的方法来快速聚合这样的大型数据集？

谢谢.

我不确定你到底想要什么 – 我想你可能需要想出一个更好的例子来说明你想做什么.

例如,你可以在by中传入一个字符向量,这样就可以了：

agg.by <- "V1"
CC[, length(one), by=agg.by]

如果要总结子集中的“未知”列,可以使用每个聚合内部范围内的.SD data.table,例如：

CC[, lapply(.SD, mean), by=agg.by]

如果您只是总结原始data.table中的几列,请使用.SDcols参数,例如：

CC[, lapply(.SD, mean), by=agg.by, .SDcols=c('one', 'two')]

我认为上面的一些组合将解决你所问的问题,但我很难理解你所追求的是什么.

如果您能提供更好的示例数据和预期结果,我将很乐意为您提供进一步的帮助.