最新 最热

查询ElasticSearch:用SQL代替DSL

233酱工作中使用了一点ELK,偶尔使用Kibana拼接ES DSL简直要命。如果你和我一样「熟悉SQL,但不咋会写DSL」 or 「想要用SQL简化查询」,本文会介绍一下官方对ES SQL的支持,希望对你有所帮助~...

2020-09-22
1

Scala对于大数据开发重要吗?Scala基础学习建议

对于大数据稍有了解的人应该知道,大数据主要的编程语言,是使用Java来完成的,而Java之外,掌握一定的Scala,在大数据开发学习当中,能够更好地掌握相关技术框架。那么Scala对于大数据开发重要吗?今天我们来给大家一些Scala基础...

2020-09-17
0

flink开发过程中遇到的问题集锦

cannot be cast to com.google.protobuf.Message

2020-09-15
0

Flink实战教程-自定义函数之标量函数

flink本身给我们提供了大量的内置函数,已经能满足我们绝大部分的需求,但是如果确实是碰到了一些特殊的场景,无法满足我们的需求的时候,我们可以自定义函数来解决,今天我们主要讲一下最简单的自定义函数-ScalarFunction。...

2020-09-15
0

flume 整合 kafka

1.0.0 is the latest release. The current stable version is 1.0.0.

2020-09-11
0

Hadoop2.7+Spark2.4.0+scala2.12.12+pyspark伪分布式环境搭建

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_261

2020-09-10
0

akka-streams - 从应用角度学习:basic stream parts

实际上很早就写了一系列关于akka-streams的博客。但那个时候纯粹是为了了解akka而去学习的,主要是从了解akka-streams的原理为出发点。因为akka-streams是akka系列工具的基础,如:akka-http, persistence-query等都是基于...

2020-09-08
0

5分钟Flink - 侧输出流(SideOutput)

本文介绍的内容是侧输出流(SideOutput),在平时大部分的 DataStream API 的算子的输出是单一输出,也就是某一种或者说某一类数据流,流向相同的地方。

2020-09-08
0

5分钟Flink - 自定义Source源

自定义Flink Source,案例分别实现了继承于SourceFunction的四个案例,三个完全自定义的Source, 另外一个Source为常见的MySQL,通过这几个案例,启发我们进行实际案例的Source研发...

2020-09-08
0

Spark Core项目实战 | 页面单跳转化率统计

目录一.页面单跳转化率统计需求简介思路分析二.具体实现具体业务实现完整项目代码一.页面单跳转化率统计需求简介计算页面单跳转化率,什么是页面单跳转换率,比如一个用户在一次 Session 过程中访问的页面路径 3,5,7,9,1...

2020-09-04
1