首页 > 学院 > 开发设计 > 正文

Spark中DataFrame的schema讲解

2019-11-06 06:24:02
字体:
来源:转载
供稿:网友

1.Schema是什么

         DataFrame中提供了详细的数据结构信息,从而使得SparkSQL可以清楚地知道该数据集中包含哪些列,每列的名称和类型各是什么,

DataFrame中的数据结构信息,即为schema。

2.输出schema

      还是用官网中的people.json的文件,输出schema,看看schema到底长什么样子。people.json文件的show()在上一篇文章中已经写到,

为了大家方便,我再把people.json长啥样贴出来,如图:

输出schema就一行代码:

df.PRintSchema()

3.完整代码及结果

完整代码如下:

object SparkSQLExample {  def main(args: Array[String]) {    val sparkConf = new SparkConf().setMaster("local").setAppName("spark SQL basic example")    val sc = new SparkContext(sparkConf)    val sqlContext = new SQLContext(sc)    val df = new SQLContext(sc).read.json("E://spark-2.1.0//spark-2.1.0//examples//src//main//resources//people.json")    df.show()    df.printSchema()  }}

看截屏不清楚,为了让大家看的清楚,只截结果:


发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表