python_GroupBy高级应用_transform

python_GroupBy高级应用_transform

分组转换和“解封”GroupBy
分组的时间重采样

Advanced GroupBy Use¶
Group Transforms and "Unwrapped" GroupBys
# 12.2 GroupBy⾼级应⽤
# 尽管我们在第10章已经深度学习了Series和DataFrame的
# # Groupby⽅法，还有⼀些⽅法也是很有⽤的。

# 分组转换和“解封”GroupBy
# 在第10章，我们在分组操作中学习了apply⽅法，进⾏转换。还
# 有另⼀个transform⽅法，它与apply很像，但是对使⽤的函数有
# ⼀定限制：
# 它可以产⽣向分组形状⼴播标量值
# 它可以产⽣⼀个和输⼊组形状相同的对象
# 它不能修改输⼊
# 来看⼀个简单的例⼦：

df = pd.DataFrame({'key': ['a', 'b', 'c'] * 4,
'value': np.arange(12.)})
df.head()
key value
0 a 0.0
1 b 1.0
2 c 2.0
3 a 3.0
4 b 4.0
g = df.groupby('key').value
g.mean()
key
a 4.5
b 5.5
c 6.5
Name: value, dtype: float64
假设我们想产⽣⼀个和df['value']形状相同的Series，但值替换为
# 按键分组的平均值。我们可以传递函数lambda x: x.mean()进⾏
# 转换：
# 假设我们想产⽣⼀个和df['value']形状相同的Series，但值替换为
# 按键分组的平均值。我们可以传递函数lambda x: x.mean()进⾏
# 转换：
g.transform(lambda x: x.mean())
0 4.5
1 5.5
2 6.5
3 4.5
4 5.5
5 6.5
6 4.5
7 5.5
8 6.5
9 4.5
10 5.5
11 6.5
Name: value, dtype: float64
对于内置的聚合函数，我们可以传递⼀个字符串假名作为
# GroupBy的agg⽅法：
# 对于内置的聚合函数，我们可以传递⼀个字符串假名作为
# GroupBy的agg⽅法：
g.transform('mean')
0 4.5
1 5.5
2 6.5
3 4.5
4 5.5
5 6.5
6 4.5
7 5.5
8 6.5
9 4.5
10 5.5
11 6.5
Name: value, dtype: float64
与apply类似， transform的函数会返回Series，但是结果必须与
# 输⼊⼤⼩相同。举个例⼦，我们可以⽤lambda函数将每个分组
# 乘以2：
# 与apply类似， transform的函数会返回Series，但是结果必须与
# 输⼊⼤⼩相同。举个例⼦，我们可以⽤lambda函数将每个分组
# 乘以2：
g.transform(lambda x: x * 2)
0 0.0
1 2.0
2 4.0
3 6.0
4 8.0
5 10.0
6 12.0
7 14.0
8 16.0
9 18.0
10 20.0
11 22.0
Name: value, dtype: float64
再举⼀个复杂的例⼦，我们可以计算每个分组的降序排名：
# 再举⼀个复杂的例⼦，我们可以计算每个分组的降序排名：
g.transform(lambda x: x.rank(ascending=False))
0 4.0
1 4.0
2 4.0
3 3.0
4 3.0
5 3.0
6 2.0
7 2.0
8 2.0
9 1.0
10 1.0
11 1.0
Name: value, dtype: float64
看⼀个由简单聚合构造的的分组转换函数：
# 看⼀个由简单聚合构造的的分组转换函数：
def normalize(x):
return (x - x.mean()) / x.std()
# 我们⽤transform或apply可以获得等价的结果：
g.transform(normalize)
g.apply(normalize)
0 -1.161895
1 -1.161895
2 -1.161895
3 -0.387298
4 -0.387298
5 -0.387298
6 0.387298
7 0.387298
8 0.387298
9 1.161895
10 1.161895
11 1.161895
Name: value, dtype: float64
解封分组操作可能包括多个分组聚合，但是⽮量化操作还是会带
# 来收益。
# 内置的聚合函数，⽐如mean或sum，通常⽐apply函数快，也⽐
# transform快。这允许我们进⾏⼀个所谓的解封（unwrapped）分
# 组操作：
g.transform('mean')
normalized = (df['value'] - g.transform('mean')) / g.transform('std')
normalized
# 解封分组操作可能包括多个分组聚合，但是⽮量化操作还是会带
# 来收益。
0 -1.161895
1 -1.161895
2 -1.161895
3 -0.387298
4 -0.387298
5 -0.387298
6 0.387298
7 0.387298
8 0.387298
9 1.161895
10 1.161895
11 1.161895
Name: value, dtype: float64



### Grouped Time Resampling
import pandas as pd
# 分组的时间重采样
# 对于时间序列数据， resample⽅法从语义上是⼀个基于内在时间
# 的分组操作。下⾯是⼀个示例表：
N = 15
times = pd.date_range('2017-05-20 00:00', freq='1min', periods=N)
df = pd.DataFrame({'time': times,
'value': np.arange(N)})
df
# 这⾥，我们可以⽤time作为索引，然后重采样：
df.set_index('time').resample('5min').count()
value
time
2017-05-20 00:00:00 5
2017-05-20 00:05:00 5
2017-05-20 00:10:00 5
# 假设DataFrame包含多个时间序列，⽤⼀个额外的分组键的列进
# ⾏标记：
df2 = pd.DataFrame({'time': times.repeat(3),
'key': np.tile(['a', 'b', 'c'], N),
'value': np.arange(N * 3.)})
df2[:7]
time key value
0 2017-05-20 00:00:00 a 0.0
1 2017-05-20 00:00:00 b 1.0
2 2017-05-20 00:00:00 c 2.0
3 2017-05-20 00:01:00 a 3.0
4 2017-05-20 00:01:00 b 4.0
5 2017-05-20 00:01:00 c 5.0
6 2017-05-20 00:02:00 a 6.0
time_key = pd.TimeGrouper('5min')
resampled = (df2.set_index('time')
.groupby(['key', time_key])
.sum())
resampled
resampled.reset_index()