面试题-SparkSQL

SparkSQL01

1、sparksql和sparkcore cache策略的区别 DataSet默认缓存策略：MEMORY_AND_DISK 绿在：InMemoryTableScan sparksql cache 是eager的，sparkcore是lazy的 sparksql uncache是eager的，sparkcore是eager的

语法 cache table tablename uncache table tablename

spark.table("tablename").cache 是lazy的 val df = spark.sql("select * from emp") df.cache() // lazy df.show() // 这才在storage里有效

2、从1.5，cache变成一个eager的算子 3、dataframe1.3版本出来的，dataset是1.6版本出来的

SparkSQL03

1、外部数据源API从哪个版本提出？ 1.2 2、hadoop和aws做兼容，哪个版本开始的？ 3、2.X之前，入口点是sqlContext、HiveContext，2.X后合并到SparkSession 3、spark.read.format 实现原理。加分点