Spark DF:关于Row中的数值获取问题

    科技2025-12-28  10

    //json文件 //{"page_id":"87","pay_category_ids":"99","pay_product_ids":"96","city_id":5} //{"pay_category_ids":"74","city_id":0} val df = sparkSession.read.json("./src/data/test") df.show() df.rdd.foreach(row => { println("getAs: "+row.getAs[String]("page_id")) println("isNull: "+row.isNullAt(1)) // val tp = row.getAs[String]("page_id") println("==Null:",tp == null) println("getLong:", row.getString(1)) })

    突然想起之前项目中有些许问题未处理 今天研究一番 从row中get值时, 经常遇到空的问题 简单总结如下: get数值类型:如果为空, 则转化为0 判空, 建议使用row.isNullAt(index)

    get字符串类型:如果为空则为null 判空建议用:StringUtils.isEmpty() (出现""的情况)

    总结:获取值用getAsT 判空用row.isNullAt 以及StringUtils.isEmpty()

    Processed: 0.014, SQL: 9