实时即未来:Apache Flink实践(一)

2021-09-09 11:34:23 浏览数 (1)

实时即未来,这是Apache Flink的宣传语~

的确,实时这个名词在现代这个科技社会越来越重要,仅以此篇文章记录我的Apache Flink实践学习过程~

实时计算Apache Flink实践学习(一)

什么是Apache Flink

Apache Flink官方网站的介绍

Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。

为什么Apache Flink能做到在一年内的GitHub Star翻倍?

Flink: 最活跃的Apache项目之一

自2014年Flink贡献给开源社区之后,其发展非常迅速。目前,Flink可以称之为Apache基金会最活跃的项目之一,GitHub上Flink的访问量在Apache项目中位居前三。

Apache Flink在中国的应用

随着Flink社区的快速发展,其技术逐渐走向成熟。在2019年,国内已经有大量的本土互联网公司如Tencent腾讯、Alibaba Group、字节跳动开始采用Apache Flink作为主流的实时计算解决方案。同时,在全球范围内,优步、网飞、微软和亚马逊等国际互联网公司也逐渐开始使用Apache Flink

Apache Flink的未来

如今,Flink 的主要应用场景基本上还是数据分析,尤其是实时数据分析。Flink 本质上是一款流式数据处理引擎,覆盖的场景主要是实时数据分析、实时风控、实时 ETL 处理等。未来,社区希望 Flink演化成为统一的数据引擎。

  • 在离线数据处理方面,希望 Flink 能够在主流数据处理的基础上进一步实现批与流的统一,提供统一的数据处理和分析的解决方案。
  • 另一方面,朝着在线数据分析处理的方向演进,即利用 Flink 的核心优势、Event-Driven-Function 的能力以及 Flink 自带的状态管理等特性实现在线的函数计算。

云原生(Cloud Native)

Flink 与 Kubernetes 生态系统集成

Flink 1.10 版将会发布 Flink 与 Kubernetes生态系统的集成功能,使得 Flink 能够原生的运行在 Kubernetes 之上,这样做有以下几点优势:

  • 第一,Kubernetes 能够在多租户场景下为Flink带来更好的体验。
  • 第二,目前各大公司都在逐步采用 Kubernetes 做IT的设施管理,如果 Flink 能够运行在 Kubernetes 之上,对于用户而言就能够实现更大规模的资源共享和统一管理,降低成本的同时能够提升效率。
  • 第三,Kubernetes 云原生生态发展非常迅速,如果 Flink 能够与 Kubernetes 生态实现很好的整合,就能够让 Flink 享受到 Kubernetes 生态的技术红利,使得 Flink 能够在生产环境下提供运维保障。

Apache Flink 怎么安装

既然 Flink 这么好用,那么应该这么安装呢?

Docker容器

安装 Flink 需要先安装Docker容器:

  • Linux:去官网安装即可,如果看不懂或者不会安装可以等我下篇文章详细介绍,除网站外还有QQ小程序:橙子笔记本;微信公众号:星橙读书同步更新文章。
  • Windows,那必须是2004以上内核版本或者企业版才能安装。这个安装就比较简单了,只需下载.exe后缀可执行文件双击打开一直下一步就可以。

这时你可能会说,啊,我没有Linux,Windows版本也不够,是不是我不配学习 Apache Flink 。而且你是一个正版主义者,不想去使用盗版的激活码,正版又没有钱买,虚拟机伤害电脑,而且正版还要花钱。不必担心,微软提供了免费的Ubuntu的Windows内置双系统,微软官方出品,不是虚拟机,而是双系统,不花钱,不损害电脑,是我们这种想学技术又没钱的小白的福利!

你说什么,你还不知道安装,那么欢迎你关注我的微信公众号,回复双系统获取安装方法吧~

0 人点赞