groupBy和pivot

    科技2025-02-10  17

    groupBy方法有两种调用方式,可以传入String类型的字段名,也可传入Column类型的对象。 使用方法如下:

    df.groupBy("user") df.groupBy(df("user"))

    groupBy方法之后得到的是GroupedData类型对象,不能直接接show方法来展示DataFrame,还需要跟一些分组统计函数,常用的统计函数有: max(colNames: String)方法,获取分组中指定字段或者所有的数字类型字段的最大值,只能作用于数字型字段 min(colNames: String)方法,获取分组中指定字段或者所有的数字类型字段的最小值,只能作用于数字型字段 mean(colNames: String)方法,获取分组中指定字段或者所有的数字类型字段的平均值,只能作用于数字型字段 sum(colNames: String)方法,获取分组中指定字段或者所有的数字类型字段的和值,只能作用于数字型字段 count()方法,获取分组中的元素个数

    agg实现聚合操作:

    聚合操作调用的是agg方法,该方法有多种调用方式。一般与groupBy方法配合使用。 比如我们查找最大的id,并把所有的user值相加,这里只是为了演示代码的作用:

    df.agg("id"->"max","user"->"sum").show() 输出: +-------+---------+ |max(id)|sum(user)| +-------+---------+ | 12| 24.0| +-------+---------+

    collect

    例如下面的例子:

    df.groupBy("user").max("id").show() df.groupBy(df("user")).max("id").show() 输出: +----+-------+ |user|max(id)| +----+-------+ | 3| 8| | 1| 12| | 2| 10| +----+-------+

     

    我们还经常想要实现一个类似excel数据透视表的功能,这里就需要用到pivot函数,比如要统计每个用户通过各种渠道下单的次数:

    df.groupBy(df("user")).pivot("type").count().show() 输出: +----+----+----+----+----+ |user|APP1|APP2| 助手1| 助手2| +----+----+----+----+----+ | 3| 2| 1|null| 1| | 1| 2|null| 1| 1| | 2|null| 1| 3|null| +----+----+----+----+----+

     

    Processed: 0.016, SQL: 8