初识大数据(十三)SparkSQL函数进阶

1、Spark SQL框架对表格列的增删改

1、新增列

df.withColumn(“year”,year(col(“add_time”))).show

2、新增自增序号列

df.withColumn("id","monotonically_increasing_id()"1).show

3、修改列的数值

df.withColumn(“op_phone”,“concat(lit("广东"),col(“op_phone”))”).show

2、自定义函数

UDF:接受一行的输入产生一行的输出 UDAF:接受多行输入产生一行输出,一般和group by组合来使用,但不是必须

3、开窗函数

row_number() 3.1 概念 在一个结果集上进行分组,在对分组后的值进行聚合等操作 调用格式:函数名OVER (PARTITION BY列名)

3.2举例 row_number() 实现分组取top N row_number over(partition by 列名 order by 列名) rank

了解更多的大数据的知识,请关注公众号:架构师Plus