selectExpr:可以对指定字段进行特殊处理

    科技2025-01-15  14

    可以直接对指定字段调用UDF函数,或者指定别名等。传入String类型参数,得到DataFrame对象。 比如,将type字段重新命名为visittype,同时截取visittime的date:

    df.selectExpr("user","type as visittype","to_date(visittime)").show()

    输出为:

    +----+---------+--------------------------------+ |user|visittype|to_date(CAST(visittime AS DATE))| +----+---------+--------------------------------+ | 1| 助手1| 2017-08-10| | 1| APP1| 2017-08-04| | 2| 助手1| 2017-08-05| | 2| 助手1| 2017-08-07| | 3| APP1| 2017-08-02| | 3| APP1| 2017-08-01| | 3| 助手2| 2017-08-14| | 3| APP2| 2017-08-03| | 2| APP2| 2017-08-11| | 2| 助手1| 2017-07-14| | 1| APP1| 2017-07-15| | 1| 助手2| 2017-07-07| +----+---------+--------------------------------+

     

    Processed: 0.013, SQL: 8