实时即未来,这是Apache Flink
的宣传语~
的确,实时这个名词在现代这个科技社会越来越重要,仅以此篇文章记录我的Apache Flink实践学习过程~
实时计算Apache Flink
实践学习(一)
什么是Apache Flink
?
Apache Flink
官方网站的介绍
Apache Flink
是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。
为什么Apache Flink
能做到在一年内的GitHub Star翻倍?
Flink: 最活跃的Apache项目之一
自2014年Flink贡献给开源社区之后,其发展非常迅速。目前,Flink可以称之为Apache基金会最活跃的项目之一,GitHub上Flink的访问量在Apache项目中位居前三。
Apache Flink
在中国的应用
随着Flink社区的快速发展,其技术逐渐走向成熟。在2019年,国内已经有大量的本土互联网公司如Tencent腾讯、Alibaba Group、字节跳动开始采用Apache Flink
作为主流的实时计算解决方案。同时,在全球范围内,优步、网飞、微软和亚马逊等国际互联网公司也逐渐开始使用Apache Flink
。
Apache Flink
的未来
如今,Flink 的主要应用场景基本上还是数据分析,尤其是实时数据分析。Flink 本质上是一款流式数据处理引擎,覆盖的场景主要是实时数据分析、实时风控、实时 ETL 处理等。未来,社区希望 Flink演化成为统一的数据引擎。
- 在离线数据处理方面,希望 Flink 能够在主流数据处理的基础上进一步实现批与流的统一,提供统一的数据处理和分析的解决方案。
- 另一方面,朝着在线数据分析处理的方向演进,即利用 Flink 的核心优势、Event-Driven-Function 的能力以及 Flink 自带的状态管理等特性实现在线的函数计算。
云原生(Cloud Native)
Flink 与 Kubernetes 生态系统集成
Flink 1.10 版将会发布 Flink 与 Kubernetes生态系统的集成功能,使得 Flink 能够原生的运行在 Kubernetes 之上,这样做有以下几点优势:
- 第一,Kubernetes 能够在多租户场景下为Flink带来更好的体验。
- 第二,目前各大公司都在逐步采用 Kubernetes 做IT的设施管理,如果 Flink 能够运行在 Kubernetes 之上,对于用户而言就能够实现更大规模的资源共享和统一管理,降低成本的同时能够提升效率。
- 第三,Kubernetes 云原生生态发展非常迅速,如果 Flink 能够与 Kubernetes 生态实现很好的整合,就能够让 Flink 享受到 Kubernetes 生态的技术红利,使得 Flink 能够在生产环境下提供运维保障。
Apache Flink
怎么安装
既然 Flink 这么好用,那么应该这么安装呢?
Docker容器
安装 Flink 需要先安装Docker容器:
- Linux:去官网安装即可,如果看不懂或者不会安装可以等我下篇文章详细介绍,除网站外还有QQ小程序:橙子笔记本;微信公众号:星橙读书同步更新文章。
- Windows,那必须是2004以上内核版本或者企业版才能安装。这个安装就比较简单了,只需下载
.exe
后缀可执行文件双击打开一直下一步就可以。
这时你可能会说,啊,我没有Linux,Windows版本也不够,是不是我不配学习 Apache Flink
。而且你是一个正版主义者,不想去使用盗版的激活码,正版又没有钱买,虚拟机伤害电脑,而且正版还要花钱。不必担心,微软提供了免费的Ubuntu的Windows内置双系统,微软官方出品,不是虚拟机,而是双系统,不花钱,不损害电脑,是我们这种想学技术又没钱的小白的福利!
你说什么,你还不知道安装,那么欢迎你关注我的微信公众号,回复双系统
获取安装方法吧~