温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
1.文档编写目的
继上一章介绍如何使用R连接Hive与Impala后，Fayson接下来讲讲如何在CDH集群中提交R的Spark作业，Spark自带了R语言的支持，在此就不做介绍，本文章主要讲述如何使用Rstudio提供的sparklyr包，向CDH集群的Yarn提交R的Spark作业。
- 内容概述
1.命令行提交作业
2.CDSW中提交作业
3.总结
- 测试环境
1.操作系统：RedHat7.2
2.采用sudo权限的ec2-user用户操作
3.CDSW版本1.1.1
4.R版本3.4.2
- 前置条件
1.Spark部署为On Yarn模式
2.CDH集群正常
3.CDSW服务正常
2.命令行提交作业
1.在R的环境安装sparklyr依赖包
代码语言：txt复制[ec2-user@ip-172-31-21-45 ~]$ R
R version 3.4.2 (2017-09-28) -- "Short Summer"
Copyright (C) 2017 The R Foundation for Statistical Computing
Platform: x86_64-pc-linux-gnu (64-bit)
...
> install.packages("sparklyr")> install.packages("nycflights13")> install.packages("Lahman")> install.packages("ggplot2")
2.编写R测试代码
代码语言：txt复制library(sparklyr)
library(dplyr)
sc <- spark_connect(master = 'yarn-client', spark_home = Sys.getenv("SPARK_HOME","/opt/cloudera/parcels/SPARK2/lib/spark2"))
iris_tbl <- copy_to(sc, iris)
flights_tbl <- copy_to(sc, nycflights13::flights, "flights")
batting_tbl <- copy_to(sc, Lahman::Batting, "batting")
src_tbls(sc)
flights_tbl %>% filter(dep_delay == 2)
delay <- flights_tbl %>%
group_by(tailnum) %>%
summarise(count = n(), dist = mean(distance), delay = mean(arr_delay)) %>%
filter(count > 20, dist < 2000, !is.na(delay)) %>%
collect3.命令行运行代码
代码语言：txt复制[ec2-user@ip-172-31-21-45 ~]$ Rscript sparklyr.R
4.访问8088服务查看作业运行情况
作业运行成功
执行结果：
3.CDSW提交作业
1.安装依赖包
代码语言：txt复制install.packages("sparklyr")
install.packages("nycflights13")
install.packages("Lahman")
install.packages("ggplot2")
2.创建sparklyrByCDSW.r文件，将命令行测试代码拷贝至sparklyrByCDSW.r
代码语言：txt复制library(rlang)
library(sparklyr)
library(dplyr)
sc <- spark_connect(master = 'yarn-client', spark_home = Sys.getenv("SPARK_HOME","/opt/cloudera/parcels/SPARK2/lib/spark2"))
iris_tbl <- copy_to(sc, iris)
flights_tbl <- copy_to(sc, nycflights13::flights, "flights")
batting_tbl <- copy_to(sc, Lahman::Batting, "batting")
src_tbls(sc)
flights_tbl %>% filter(dep_delay == 2)
delay <- flights_tbl %>%
group_by(tailnum) %>%
summarise(count = n(), dist = mean(distance), delay = mean(arr_delay)) %>%
filter(count > 20, dist < 2000, !is.na(delay)) %>%
collect
# plot delays
library(ggplot2)
ggplot(delay, aes(dist, delay))
geom_point(aes(size = count), alpha = 1/2)
geom_smooth()
scale_size_area(max_size = 2)
spark_disconnect(sc)3.运行代码测试
4.查看Yarn作业
5.运行结果
Yarn作业显示
4.总结
通过Rstudio提供的sparklyr包，你可以连接到Spark本地实例以及远程Spark集群，本文档主要讲述了R通过调用sparklyr提供的SparkAPI接口与Spark集群建立连接，而未实现在Spark中调用R的函数库或自定义方法。如何在Spark集群中分布式运行R的所有代码（Spark调用R的函数库及自定义方法），Fayson会在接下来的文章做详细介绍。
醉酒鞭名马，少年多浮夸！ 岭南浣溪沙，呕吐酒肆下！挚友不肯放，数据玩的花！ 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操
