集群是弹性 MapReduce( EMR )提供托管 服务的基本单元,也是用户使用和管理 EMR 服务的主要对象。本文为您介绍通过腾讯云官网控制台,快速创建 EMR 集群。
一、前提条件:
1、登录腾讯云官网并创建腾讯云账号。
2、登录产品购买页:
方式一:登录腾讯云官网,选择【产品】>【云智大数据基础服务】>【弹性 MapReduce】, 进入 弹性 MapReduce 产品介绍页,在产品介绍页,单击【立即选购】,进入集群创建购买页。 方式二:直接登录控制台,选择产品弹性MapReduce,单击【新建】进入创建购买页。
二、创建流程:
在腾讯云官网自助购买页面中,仅支持依赖于云服务器(CVM)的 EMR 集群创建。如果您需要独享物理机的黑石 EMR 集群,请通过提交工单 的方式进行提交。
1、搭建准备
创建安全组
安全组在云端提供类似虚拟防火墙功能,实现对网络端口的访问控制,是一种重要的安全隔离手段。由于安全组是针对CVM的,所以选择【产品】>【云服务器】>【安全组】进行创建,如下图:
2、创建集群
可用区与软件配置
1、计费模式选择:按量计费、包年包月
关于按量计费与包年包月在云服务器单价,配置升降调整等方面的区别,见如下表格的对比:
2、地域、可用区域选择
目前支持的地域有:广州、上海、北京。不同地域的云产品之间内网不互通。
3、产品版本、组件选择
每个EMR版本对应的组件存在差异,您可以根据业务需求自行选择,如下图:
硬件配置
1、 节点高可用选项(默认开启)
选择 “启动高可用” 后,将会默认开启两个 Master 节点,至少 3 个 Core 节点,以及 3 个 Common 节点,如下图:
2、节点规格配置
包括Master节点配置、Core节点配置、Task节点配置、Common节点配置、Router节点配置。各个节点类型、规格说明如下:
- Master 节点为管理节点,保证集群的调度正常进行。
- Core 节点为计算及存储节点,您在 HDFS 中的数据全部存储于 Core 节点中,因此为了保证数据安全,扩容 Core 节点后不允许缩容。
- Task 节点为纯计算节点,不存储数据,被计算的数据来自 Core 节点及 COS 中,因此 Task 节点往往被作为弹性节点,可随时扩容和缩容。
- Common 节点为 HA 集群 Master 节点提供数据共享同步以及高可用容错服务。
- Router 节点用以分担 Master 节点的负载或者作为集群的任务提交机,可以随时扩容和缩容。
节点配置包括实例类型、核数、内存、磁盘类型及大小,其中实例类型包括:大数据型、内存型、高IO型、标准型、计算型。您可以根据自身业务需求进行选择。
3、集群网络
为保证 EMR 集群的安全性,我们将集群各节点放入了一个私有网络中,您需要设置一个私有网络以保证 EMR 集群的正确创建。
如果现有的网络不合适,您可以去控制台新建私有网络或者新建子网。
基础配置
1、所属项目
该集群所在的项目
2、集群名称
用于区分集群,创建后可以修改
3、对象存储
开启后,EMR集群可以读取分析COS上的数据
4、用户名密码
用户名默认名称root,可以修改。
EMR 密码分两个密码:"机器登录密码" 和 "EMR-UI快捷入口密码"
机器登录密码:如果不使用密钥登录,EMR集群中的机器节点,将采用密码方式登录。反之将需要密钥登录机器,密码对机器的登录将失效。
EMR-UI快捷入口密码:EMR提供了集群UI快捷入口,帮助用户查看集群各种状态。快捷入口将采用该密码进行合法验证。
完成以上三大步骤后,点击【购买】,EMR 集群进入创建过程中,在几分钟后(大约 10 分钟)您即可在EMR控制台中找到刚刚创建的集群(集群生产需要一定的时间)。
说明:
若是按量付费集群,集群会立刻开始创建。请耐心等待,集群创建会需要几分钟时间。
若是包年包月集群,则会先生成订单,在支付完成订单以后集群才会开始创建。