注意:此处用的spark version 1.6.0,版本不同,SparkSQL写代码时不太一样,比如要查询所有用户,并且使每一位用户年龄增加1.
spark 2.1.0写法为:
df.select($"name", $"age" + 1).show()spark 1.6.0写法为:df.select(df("name"),df("age")+1).show()1.创建DataFrame
val df = new SQLContext(sc).read.json("E://spark-2.1.0//spark-2.1.0//examples//src//main//resources//people.json")2.查看DataFrame内容
df.show()结果如图所示:
3.查看Schema
df.PRintSchema()4.Select操作
4.1 只查看姓名
df.select("name").show()4.2 查看所有姓名、年龄
df.select("name","age").show()4.3 查看所有姓名,同时使每个人年龄增加1
df.select(df("name"),df("age")+1).show()注意:不能写成这样:
df.select("name","age"+1).show()否则会报如下错误:Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'age1' given input columns age, name;5.Filter操作
查询年龄大于21的用户
df.filter(df("age")>21).show()6.GroupBy操作
按年龄分组查看用户
df.groupBy("age").count().show()7.完整代码
/** * Created by RiverCode on 2017/3/6. */object SparkSQLExample { def main(args: Array[String]) { val sparkConf = new SparkConf().setMaster("local").setAppName("spark SQL basic example") val sc = new SparkContext(sparkConf) val sqlContext = new SQLContext(sc) val df = new SQLContext(sc).read.json("E://spark-2.1.0//spark-2.1.0//examples//src//main//resources//people.json") df.show() df.printSchema() df.select("name").show() df.select("name","age").show() // 可以// df.select("name","age"+1).show() // 不可以cannot resolve 'age1' given input columns age, name;// df.select($"name",$"age"+1) // spark 2.1.0 这样写 df.select(df("name"),df("age")+1).show() // spark 1.6.3 df.filter(df("age")>21).show() df.groupBy("age").count().show() }}8.相关文章链接
Spark中DataFrame的schema讲解:spark中DataFrame的schema讲解
http://blog.csdn.net/rivercode/article/details/60604327
spark创建DataFrame:spark创建DataFrame
http://blog.csdn.net/rivercode/article/details/60596079
新闻热点
疑难解答