EMR入门学习之创建EMR集群(二)

2019-11-29 17:14:39 浏览数 (2)

集群是弹性 MapReduce( EMR )提供托管 服务的基本单元,也是用户使用和管理 EMR 服务的主要对象。本文为您介绍通过腾讯云官网控制台,快速创建 EMR 集群。

一、前提条件:

1、登录腾讯云官网并创建腾讯云账号。

2、登录产品购买页:

方式一:登录腾讯云官网,选择【产品】>【云智大数据基础服务】>【弹性 MapReduce】, 进入 弹性 MapReduce 产品介绍页,在产品介绍页,单击【立即选购】,进入集群创建购买页。 方式二:直接登录控制台,选择产品弹性MapReduce,单击【新建】进入创建购买页。

二、创建流程:

在腾讯云官网自助购买页面中,仅支持依赖于云服务器(CVM)的 EMR 集群创建。如果您需要独享物理机的黑石 EMR 集群,请通过提交工单 的方式进行提交。

1、搭建准备

创建安全组

安全组在云端提供类似虚拟防火墙功能,实现对网络端口的访问控制,是一种重要的安全隔离手段。由于安全组是针对CVM的,所以选择【产品】>【云服务器】>【安全组】进行创建,如下图:

2、创建集群

可用区与软件配置

1、计费模式选择:按量计费、包年包月

关于按量计费与包年包月在云服务器单价,配置升降调整等方面的区别,见如下表格的对比:

2、地域、可用区域选择

目前支持的地域有:广州、上海、北京。不同地域的云产品之间内网不互通。

3、产品版本、组件选择

每个EMR版本对应的组件存在差异,您可以根据业务需求自行选择,如下图:

硬件配置

1、 节点高可用选项(默认开启)

选择 “启动高可用” 后,将会默认开启两个 Master 节点,至少 3 个 Core 节点,以及 3 个 Common 节点,如下图:

2、节点规格配置

包括Master节点配置、Core节点配置、Task节点配置、Common节点配置、Router节点配置。各个节点类型、规格说明如下:

  • Master 节点为管理节点,保证集群的调度正常进行。
  • Core 节点为计算及存储节点,您在 HDFS 中的数据全部存储于 Core 节点中,因此为了保证数据安全,扩容 Core 节点后不允许缩容。
  • Task 节点为纯计算节点,不存储数据,被计算的数据来自 Core 节点及 COS 中,因此 Task 节点往往被作为弹性节点,可随时扩容和缩容。
  • Common 节点为 HA 集群 Master 节点提供数据共享同步以及高可用容错服务。
  • Router 节点用以分担 Master 节点的负载或者作为集群的任务提交机,可以随时扩容和缩容。

节点配置包括实例类型、核数、内存、磁盘类型及大小,其中实例类型包括:大数据型、内存型、高IO型、标准型、计算型。您可以根据自身业务需求进行选择。

3、集群网络

为保证 EMR 集群的安全性,我们将集群各节点放入了一个私有网络中,您需要设置一个私有网络以保证 EMR 集群的正确创建。

如果现有的网络不合适,您可以去控制台新建私有网络或者新建子网。

基础配置

1、所属项目

该集群所在的项目

2、集群名称

用于区分集群,创建后可以修改

3、对象存储

开启后,EMR集群可以读取分析COS上的数据

4、用户名密码

用户名默认名称root,可以修改。

EMR 密码分两个密码:"机器登录密码" 和 "EMR-UI快捷入口密码"

机器登录密码:如果不使用密钥登录,EMR集群中的机器节点,将采用密码方式登录。反之将需要密钥登录机器,密码对机器的登录将失效。

EMR-UI快捷入口密码:EMR提供了集群UI快捷入口,帮助用户查看集群各种状态。快捷入口将采用该密码进行合法验证。

完成以上三大步骤后,点击【购买】,EMR 集群进入创建过程中,在几分钟后(大约 10 分钟)您即可在EMR控制台中找到刚刚创建的集群(集群生产需要一定的时间)。

说明:

若是按量付费集群,集群会立刻开始创建。请耐心等待,集群创建会需要几分钟时间。

若是包年包月集群,则会先生成订单,在支付完成订单以后集群才会开始创建。

0 人点赞