DataFrame中提供了详细的数据结构信息,从而使得SparkSQL可以清楚地知道该数据集中包含哪些列,每列的名称和类型各是什么,
DataFrame中的数据结构信息,即为schema。
还是用官网中的people.json的文件,输出schema,看看schema到底长什么样子。people.json文件的show()在上一篇文章中已经写到,
为了大家方便,我再把people.json长啥样贴出来,如图:
输出schema就一行代码:
df.PRintSchema()3.完整代码及结果
完整代码如下:
object SparkSQLExample { def main(args: Array[String]) { val sparkConf = new SparkConf().setMaster("local").setAppName("spark SQL basic example") val sc = new SparkContext(sparkConf) val sqlContext = new SQLContext(sc) val df = new SQLContext(sc).read.json("E://spark-2.1.0//spark-2.1.0//examples//src//main//resources//people.json") df.show() df.printSchema() }}看截屏不清楚,为了让大家看的清楚,只截结果:
新闻热点
疑难解答