首页 > 学院 > 开发设计 > 正文

SparkSQL中DataFrame Operations操作(select、filter、groupBy、count)

2019-11-06 06:08:41
字体:
来源:转载
供稿:网友

注意:此处用的spark version 1.6.0,版本不同,SparkSQL写代码时不太一样,比如要查询所有用户,并且使每一位用户年龄增加1.

spark 2.1.0写法为:

df.select($"name", $"age" + 1).show()spark 1.6.0写法为:
df.select(df("name"),df("age")+1).show()

1.创建DataFrame

val df = new SQLContext(sc).read.json("E://spark-2.1.0//spark-2.1.0//examples//src//main//resources//people.json")

2.查看DataFrame内容

df.show()

结果如图所示:

3.查看Schema

df.PRintSchema()

4.Select操作

4.1 只查看姓名

df.select("name").show()

4.2 查看所有姓名、年龄

df.select("name","age").show()

4.3 查看所有姓名,同时使每个人年龄增加1

df.select(df("name"),df("age")+1).show() 

注意:不能写成这样:

df.select("name","age"+1).show()否则会报如下错误:
Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'age1' given input columns age, name;

5.Filter操作

查询年龄大于21的用户

df.filter(df("age")>21).show()

6.GroupBy操作

按年龄分组查看用户

df.groupBy("age").count().show()

7.完整代码

/**  * Created by RiverCode on 2017/3/6.  */object SparkSQLExample {  def main(args: Array[String]) {    val sparkConf = new SparkConf().setMaster("local").setAppName("spark SQL basic example")    val sc = new SparkContext(sparkConf)    val sqlContext = new SQLContext(sc)    val df = new SQLContext(sc).read.json("E://spark-2.1.0//spark-2.1.0//examples//src//main//resources//people.json")    df.show()    df.printSchema()    df.select("name").show()    df.select("name","age").show() // 可以//  df.select("name","age"+1).show() // 不可以cannot resolve 'age1' given input columns age, name;//  df.select($"name",$"age"+1)  // spark 2.1.0 这样写    df.select(df("name"),df("age")+1).show()  // spark 1.6.3    df.filter(df("age")>21).show()    df.groupBy("age").count().show()     }}

8.相关文章链接

Spark中DataFrame的schema讲解:spark中DataFrame的schema讲解

http://blog.csdn.net/rivercode/article/details/60604327

spark创建DataFrame:spark创建DataFrame

http://blog.csdn.net/rivercode/article/details/60596079


发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表