电子发烧友App
import pandas as pd
df = pd.DataFrame（{‘key1’：list（‘aabba’），
‘key2’： ［‘one’，‘two’，‘one’，‘two’，‘one’］，
‘data1’： np.random.randn（5），
‘data2’： np.random.randn（5）}）
df123456
grouped=df［‘data1’］.groupby（df［‘key1’］）
grouped.mean（）12
以上的分组键均为Series，实际上分组键可以是任何长度适当的数组
states=np.array（［‘Ohio’，‘California’，‘California’，‘Ohio’，‘Ohio’］）
years=np.array（［2005，2005，2006，2005，2006］）
df［‘data1’］.groupby（［states，years］）.mean（）123
df.groupby（‘key1’）.mean（）1
可以看出没有key2列，因为df［‘key2’］不是数值数据，所以被从结果中移除。默认情况下，所有数值列都会被聚合，虽然有时可能被过滤为一个子集。
对分组进行迭代
for name， group in df.groupby（‘key1’）：
print （name）
print （group）123
可以看出name就是groupby中的key1的值，group就是要输出的内容。
同理：
for （k1，k2），group in df.groupby（［‘key1’，‘key2’］）：
print （‘===k1，k2：’）
print （k1，k2）
print （‘===k3：’）
print （group）12345
对group by后的内容进行操作，如转换成字典
piece=dict（list（df.groupby（‘key1’）））
piece
{‘a’： data1 data2 key1 key2
0 -0.233405 -0.756316 a one
1 -0.232103 -0.095894 a two
4 1.056224 0.736629 a one， ‘b’： data1 data2 key1 key2
2 0.200875 0.598282 b one
3 -1.437782 0.107547 b two}
piece［‘a’］123456789101112
groupby默认是在axis=0上进行分组的，通过设置也可以在其他任何轴上进行分组。
grouped=df.groupby（df.dtypes， axis=1）
dict（list（grouped））
{dtype（‘float64’）： data1 data2
0 -0.233405 -0.756316
1 -0.232103 -0.095894
2 0.200875 0.598282
3 -1.437782 0.107547
4 1.056224 0.736629， dtype（‘O’）： key1 key2
0 a one
1 a two
2 b one
3 b two
4 a one
123456789101112131415
选取一个或者一组列
对于大数据，很多情况是只需要对部分列进行聚合
df.groupby（［‘key1’，‘key2’］）［［‘data2’］］.mean（）
12
通过字典或者series进行分组
people=pd.DataFrame（np.random.randn（5，5），
columns=list（‘abcde’），
index=［‘Joe’，‘Steve’，‘Wes’，‘Jim’，‘Travis’］）
people.ix［2:3，［‘b’，‘c’］］=np.nan #设置几个nan
people123456
已知列的分组关系
mapping={‘a’：‘red’，‘b’：‘red’，‘c’：‘blue’，‘d’：‘blue’，‘e’：‘red’，‘f’：‘orange’}
by_column=people.groupby（mapping，axis=1）
by_column.sum（）12345
如果不加axis=1， 则只会出现 a b c d e
Series 也一样
map_series=pd.Series（mapping）
map_series
a red
b red
c blue
d blue
e red
f orange
dtype： object
people.groupby（map_series，axis=1）.count（）123456789101112
通过函数进行分组
相较于dic或者Series，python函数在定义分组关系映射时更有创意。任何被当做分组键的函数都会在各个索引上被调用一次，其返回值就会被用作分组名称。假设你按人名的长度进行分组，仅仅传入len即可
people.groupby（len）.sum（） a b c d e 3 -1.308709 -2.353354 1.585584 2.908360 -1.267162 5 -0.688506 -0.187575 -0.048742 1.491272 -0.636704 6 0.110028 -0.932493 1.343791 -1.928363 -0.36474512
将函数和数组、列表、字典、Series混合使用也不是问题，因为任何东西都会最终转换为数组
key_list=［‘one’，‘one’，‘one’，‘two’，‘two’］ people.groupby（［len，key_list］）.sum（）1
根据索引级别进行分组
层次化索引最方便的地方就在于他能够根据索引级别进行聚合。要实现该目的，通过level关键字出入级别编号或者名称即可：
columns=pd.MultiIndex.from_arrays（［［‘US’，‘US’，‘US’，‘JP’，‘JP’］，［1，3，5，1，3］］，names=［‘cty’，‘tenor’］）
hier_df=pd.DataFrame（np.random.randn（4，5），columns=columns）
hier_df123
hier_df.groupby（level=‘cty’，axis=1）.count（）1
数据聚合
调用自定义的聚合函数
面向列的多函数应用
对Series或者DataFrame列的聚合运算实际是使用aggregate或者调用mean，std等方法。下面我们想对不同的列使用不同的聚合函数，或者一次应用多个函数
grouped=tips.groupby（［‘sex’，‘smoker’］）
grouped_pct=grouped［‘tip_pct’］ #tip_pct列
grouped_pct.agg（‘mean’）#对与9-1图标中描述的统计，可以将函数名直接以字符串传入
#如果传入一组函数，得到的df的列名就会以相应的函数命名12345
自动给出的列名辨识度低，如果传入的是（name， function）元组组成的列表，则各个元组的第一个元素将被用作df的列名
对于df，可以定义一组用于全部列的函数，或在不同的列应用不同的函数
如果想对不同的列应用不同的函数， 具体的办法是想agg传入一个从列名映射到函数的字典
只有将多个函数应用到至少一列时，df才能拥有层次化的列
分组级运算和转换
聚合只是分组运算的一种，它是数据转换的特列。transform 和apply更牛叉。
transform会将一个函数应用到各个分组，然后将结果放在适当的位置。 如果各分组产生的标量值，则该标量值会被广播出去。
transform也是有严格条件的特殊函数：传入的函数只能产生两种结果，要么产生一个可以广播的标量值（如：np.mean）， 要么产生一个相同大小的结果数组。
people=pd.DataFrame（np.random.randn（5，5），
columns=list（‘abcde’），
index=［‘Joe’，‘Steve’，‘Wes’，‘Jim’，‘Travis’］）
people
12345
key=［‘one’，‘two’，‘one’，‘two’，‘one’］
people.groupby（key）.mean（）12
people.groupby（key）.transform（np.mean）1
可以看到有很多与表2一样的值。
def demean（arr）：
return arr-arr.mean（）
demeaned=people.groupby（key）.transform（demean）
demeaned12345
demeaned.groupby（key）.mean（）1
最一般化的groupby 方法是apply.
tips=pd.read_csv（‘C：UsersecaoyngDesktopwork spacePythonpy_for_analysis_codepydata-book-masterch08 ips.csv’）
tips［：5］12
新生成一列
tips［‘tip_pct’］=tips［‘tip’］/tips［‘total_bill’］
tips［：6］12
根据分组选出最高的5个tip_pct值
def top（df，n=5，column=‘tip_pct’）：
return df.sort_index（by=column）［-n：］
top（tips，n=6）123
对smoker分组并应用该函数
tips.groupby（‘smoker’）.apply（top）1
多参数版本
tips.groupby（［‘smoker’，‘day’］）.apply（top，n=1，column=‘total_bill’）1
分位数和桶分析
cut and qcut与groupby结合起来，能轻松的对数据集的桶（bucket）或者分位数（quantile）分析。
frame=pd.DataFrame（{‘data1’：np.random.randn（1000），
‘data2’： np.random.randn（1000）}）
frame［：5］123
factor=pd.cut（frame.data1，4）
factor［：10］
0 （0.281， 2.00374］
1 （0.281， 2.00374］
2 （-3.172， -1.442］
3 （-1.442， 0.281］
4 （0.281， 2.00374］
5 （0.281， 2.00374］
6 （-1.442， 0.281］
7 （-1.442， 0.281］
8 （-1.442， 0.281］
9 （-1.442， 0.281］
Name： data1， dtype： category
Categories （4， object）： ［（-3.172， -1.442］ 《 （-1.442， 0.281］ 《 （0.281， 2.00374］ 《 （2.00374， 3.727］］123456789101112131415
def get_stats（group）：
return {‘min’：group.min（），‘max’：group.max（），‘count’：group.count（），‘mean’：group.mean（）}
grouped=frame.data2.groupby（factor）
grouped.apply（get_stats）.unstack（）1234
这些都是长度相等的桶，要根据样本分为数得到大小相等的桶，使用qcut即可。
长度相等的桶：区间大小相等
大小相等的桶：数据点数量相等
grouping=pd.qcut（frame.data1，10，labels=False）#label=false即可值获取分位数的编号
grouped=frame.data2.groupby（grouping）
grouped.apply（get_stats）.unstack（）123
工商网监
评论