首页 > 学院 > 开发设计 > 正文

跟天齐老师学Spark（4）--Spark整合hdfs

2019-11-11 05:20:46

字体：大中小

来源：转载

供稿：网友

spark整合hdfs：需求：从hdfs中读取数据，用spark计算，再写到hdfs中。启动zookeeper；启动hadoop的hdfs；然后启动spark（我们这里就不启动高可用集群了，这里只启动一个Master）；向spark集群提交任务；spark-shell中写的程序仅仅是做实验；实际开发中，是先在IDE中开发spark程序，然后打包，提交到集群。然后用脚本或调度框架来调度。我们这里在spark-shell中写一个spark程序：读取hdfs中的数据的话，先指定hdfs的地址，你可以将hadoop的两个配置文件hdfs-site.xml和core-site.xml拷贝到spark的conf目录下，但是我们这里因为是测试，所以hdfs的地址写死了：sc.textFile("hdfs://hadoop01:9000/wc").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).saveAsTextFile("hdfs://hadoop01:9000/wc/out05")上面的spark-shell只是在测试或者学习的时候常用的方式。在生产中，一般是在开发工具中开发好程序，然后将程序打成jar包，在提交到spark集群上运行。

上一篇：CmakeLists实践（3）

下一篇：序列化和反序列化

学习交流

索泰发布一款GTX 1070 Mini迷你版本:小机

索泰发布一款GTX 1070 Mini迷你版本:小机箱大爱...

热门图片

猜你喜欢的新闻

猜你喜欢的关注

新闻热点

荣耀总裁赵明乌镇演讲：荣耀首款5G手机V30下月发布

2019-10-23 09:17:05

搜狐张朝阳：回归媒体是搜狐重新崛起的关键

2019-10-21 09:20:02

华为轮值董事长郭平：虚拟技术创造现实价值

2019-10-21 09:00:12

滴滴英文服务上线两周年用户已超200万

2019-09-26 08:57:12

华为推出全球至快AI训练集群Atlas900

2019-09-25 08:46:36

马斯克：特斯拉正组建中国技术团队

2019-09-25 08:15:43

疑难解答

图片精选

网友关注