spark创建DataFrames

2019-11-06 06:27:37

字体：大中小

来源：转载

供稿：网友

1.DataFrame讲解

在Spark中，DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库中的二维表格。DataFrame与RDD的主要区别在于，前者带有schema元信息，即DataFrame所表示的二维表数据集的每一列都带有名称和类型。这使得Spark SQL得以洞察更多的结构信息，从而对藏于DataFrame背后的数据源以及作用于DataFrame之上的变换进行了针对性的优化，最终达到大幅提升运行时效率的目标。反观RDD，由于无从得知所存数据元素的具体内部结构，Spark Core只能在stage层面进行简单、通用的流水线优化。

2.讲解所用spark和scala版本号

spark version 1.6.0，scala version 2.10.4。

3.创建SQLContext()实例

val sqlContext = new SQLContext(sc)本次讲解以官网下载的spark-2.1.0里的spark-2.1.0/examples/src/main/resources/people.json为例讲解。
   people.json具体数据及格式如下图所示：
4.通过read读入文件
val df = new SQLContext(sc).read.json("E://spark-2.1.0//spark-2.1.0//examples//src//main//resources//people.json")5.通过show()查看结果
df.show()
5.完整代码及结果