主流云平台介绍之-AWS

前言

目前云平台逐渐火热起来，国内如：阿里云、腾讯云、华为云等平台，国外如：AWS、Azure、Google GCP等平台，都有不少用户，并在持续的增加中。

特别是在大数据领域，主流的云平台均提供了相应的解决方案，从分布式存储到分布式计算，从批处理框架到流式计算，从ETL到数据管道，从BI分析到数据挖掘等等方面均有对应的产品来解决企业的需求。

我们有必要对云平台增加一定的了解，并最好能上手尝试一番，对我们提升眼界思维有很大帮助。

本篇文章就给大家带来主流云平台中的AWS平台的相关介绍。

什么事AWS

官方介绍：

AWS 全称Amazon web service(亚马逊网络服务)，是亚马逊公司旗下云计算服务平台，为全世界各个国家和地区的客户提供一整套基础设施和云解决方案。

AWS面向用户提供包括弹性计算、存储、数据库、物联网在内的一整套云计算服务，帮助企业降低IT投入和维护成本，轻松上云

从概念是来看，AWS提供了一系列的托管产品，帮助我们在没有物理服务器的情况下，照样可以正常完成软件开发中的各种需求，也就是我们常说的云服务。

比如，

从存储来说，AWS提供了S3 作为对象存储工具，可以帮助我们存储大量的数据，并且S3可以被AWS的其他服务所访问。

从服务器资源来说，AWS提供了EC2作为虚拟化的云服务器，提供各种类型的主机，如计算型、通用型、内存计算型、GPU计算型，等等来满足业务对服务器的需要

在数据库方面，AWS提供了如RDS（包含Mysql、MariaDB、Postgresql）作为关系型存储以及分布式大型关系型数据库Aurora，同时提供了多种Nosql数据库，如DynamoDB等，以及数仓如RedShift

AWS在各个方面的业务需求上，都有对应的产品或者整体的解决方案存在，并且这些产品或者方案都有一个特点，就是全部不需要使用者有任何物理资源，所有的业务统统在AWS上运行，使用者只需要有一天电脑去登录AWS去进行管理操作即可，同时也简化了许多运维的工作量，比如监控、报警等方面，AWS自身就已经集成了很丰富的监控报警功能。

AWS上提供的主要功能模块

如上三个图，我们可以看出，AWS提供了许许多多的功能模块以对应各种不同的业务需求

就以计算来举例：

在AWS的计算模块中，除了最常见的EC2（Elastic Compute Cloud）,也就是云上的虚拟机，除了EC2外，AWS提供了诸如：

LAMBDA: 用于提供开发ServerLess Application，支持Java、Python、Go等主流语言

ECR：Amazon Elastic Container Registry，用于管理容器镜像的服务，类似容器仓库的概念

ECS：Amazon Elastic Container Service，AWS自身提供的容器编排服务

EKS：Elastic Kubernetes Service，运行在云上的，AWS提供的Kubernetes技术

Lambda：云上运行代码，无需顾虑服务器。只需要关系业务逻辑编写代码即可，编写好之后提交给Lambda代码可以直接运行，不需要服务器，也不需要安装环境

还有一些其他的计算模块中的服务，就不一一列举了（国内用不了）。

可以看出，AWS在每一个模块下，都提供了很丰富的产品来供用户选择使用。

使用AWS可以做到，不依赖任何任何一台物理服务器就能支撑起全公司所有的业务。

AWS是十分强大的，目前在全球云平台的占有率也是处于No.1的序列，其相当于引领着云平台的定义。

我们主要挑选一些最常使用的服务来给大家介绍一下

AWS中一些常用服务介绍

计算-EC2：

EC2可以说是AWS平台上最核心、最基础的服务了，其全称Elastic Compute Cloud: 弹性云计算。

EC2简单来说，就是提供了云上的虚拟服务器，用户可以按照需求选择如：

1.内存计算型（强调内存性价比）

2.通用型（均衡性价比）

3.计算型（强调CPU性价比）

4.GPU计算型（提供高性能GPU）

5.存储优化型（强调存储性价比）

除了大类型上可以选择，也可以选择小类型（CPU、内存配置），如下图：

提供了多种类型的CPU和内存的组合供我们选择

最高可以选择到128vCPU核心，4TB内存的级别

除了性能配置外，EC2同时支持选择多种操作系统来部署，如：

同时，EC2也可以搭配如VPC（虚拟网络），AMI（镜像），快照，安全组（防火墙），负载均衡器等各种服务搭配使用

总的来说，EC2 就相当于一个云上的虚拟机软件，可以帮我们创建服务器，部署操作系统，管理网络，拍摄快照，配置防火墙等等工作。

存储-S3

S3：Amazon Simple Storage Service，是一种云上的简单存储，是一种基于对象的存储。我们可以把我们的数据作为一个个对象存储在S3中。

并且，S3可以被AWS中其他的服务所访问，甚至我们部署的Hadoop、Spark等程序都可以正常的访问S3的数据。

S3作为存储，和服务器进行了隔离，原本我们做分布式存储如HDFS，都是依赖具体的服务器硬件的，但是使用S3，就不再需要了，它就相当于AWS提供的一款分布式、超大容量的网盘程序

T1：使用S3，我们可以将存储的计算资源进行分离，比如我们可以在需要计算的时候，临时创建几个EC2，去加载S3数据，运行程序计算结果，得到结果后，就可以删除EC2了，最大程度提供资源利用率，不需要计算的时候，让计算资源不再闲置，或者说，需要计算资源的时候再去创建即可。

数据库

RDS

RDS全称：Amazon Relational Database Service，也就是亚马逊关系型数据库服务。是一种托管的云数据库，可以为我们提供云上的Mysql、Postgresql、MariaDB、Aurora（分布式关系型数据库）等多种关系型数据库。使用RDS，用户只需要关系去使用它即可，而无需关心如：安装、部署、维护、监控、报警等一系列操作。这些操作AWS全部帮我们自动化完成，我们只需要关心业务逻辑去操作数据库即可。

DyanmoDB

DynamoDB是一款托管的NoSQL数据库，是Key-Value型的列式数据库，由AWS自行研发，类似HBase。

其提供了多种语言的API帮助客户开发程序，同时将性能划分为一个个容量单位，由预算来决定性能，最大限度节省预算。

同RDS一样，使用托管的DynamoDB，客户同样只需要关心使用即可，而无需关心如维护、安装、报警、监控、部署等一系列操作。

RedShift

RedShift是AWS提供的一款云上的托管的数据仓库产品。其底层基于Postgresql开发，兼容Postgresql的一些标准，可以使用JDBC连接。

计算-LAMBDA

Lambda是一款神器，目前微服务十分流行，Lambda可以构建复杂的微服务系统架构，同时也可以用来构建ServerLess 类型的Application

Lambda简单来说就是，编写好代码，提交给Lambda即可运行，无需顾虑服务器。

联网和内容分发-API Gateway

Amazon API Gateway 可帮助开发人员创建和管理在 Amazon EC2、AWS Lambda 或任何可公开寻址的 Web 服务上运行的后端系统的 API。利用 Amazon API Gateway，您可以为您的 API 生成自定义客户端 SDK，以便将后端系统连接到移动、Web 和服务器应用程序或服务

通俗来说，我们可以认为API Gateway就是一款托管在云上的Nignx、Tomcat等中间件。

API Gateway 可以配合上面提到的Lambda，来提供RESTful形式的接口。