最新 最热

详解flink 1.11中的新部署模式-Application模式

目前对于flink来说,生产环境一般有两个部署模式,一个是 session模式,一个是per job模式。

2020-09-15
0

flink教程-flink 1.11 集成zeppelin实现简易实时计算平台

随着flink的蓬勃发展,zeppelin社区也大力推进flink与zeppelin的集成.zeppelin的定位是一种使用sql或者scala等语言的一个交互式的分析查询分析工具。

2020-09-15
0

flink实战教程-集群的部署

这种模式我们一般是在用IDE调试程序的时候用到,当我们在本地用IDE开发程序的时候,执行main方法,flink会在本地启动一个包含jobmanager和taskmanager的进程的minicluster,程序运行完成之后,这个cluster进程退出。...

2020-09-15
0

如何将Flink应用的日志发送到kafka

产线环境上的Flink应用是长时运行的应用,日志量较大,通过flink web页面查看任务日志会导致浏览器卡死,通过日志排查问题非常不便。因此,需要将flink应用的日志发送到外部系统,方便进行日志检索...

2020-09-10
0

nuxt.js项目入门配置篇

在assets中创建css文件夹,在里面创建reset.css文件,然后在nuxt.config.js中引入。

2020-09-10
0

使用Pyspark进行特征工程时的那些坑

以脚本spark_clean_online_action.py、数据集new_sxf_time_count_1781115582.csv为例: 集群节点包括212、216、217、218。需要注意的是:

2020-09-09
0

[业界方案] Yarn的业界解决方案和未来方向

本文通过分析学习两篇文章来看目前工业界可能偏好的解决方案,也顺便探寻下Yarn的未来发展方向。

2020-09-07
0

[源码解析]Oozie来龙去脉之内部执行

Oozie由Cloudera公司贡献给Apache的基于工作流引擎的开源框架,是用于Hadoop平台的开源的工作流调度引擎,用来管理Hadoop作业,进行。本文是系列的第二篇,介绍Oozie的内部执行阶段。...

2020-09-07
1

0808-7.1.1-如何在CDP7.1.1指定Hive SQL的资源池队列

Fayson在CDP7.1.1 的使用过程中,发现在使用Hive SQL 中默认无法修改Hive 的资源池,只能提交到defalut 或者 root.hive 队列下,而且显示的提交用户都是hive。这对于一个生产环境中的资源池管理是致命的缺陷,本文主要介绍在...

2020-09-04
0

CDP私有云基础版概述

Cloudera数据平台(CDP)私有云基础版是Cloudera数据平台的本地版本。该新产品结合了Cloudera Enterprise Data Hub和Hortonworks Data Platform Enterprise的优点以及整个堆栈中的新功能和增强功能。该统一分发是可扩展...

2020-09-03
0