最新 最热

kafka的ack确认机制

topic的每个partition收到producer发送的数据后,都需向producer发送ack,如果producer收到ack,就会进行下一轮的发送,否则重新发送。

2021-04-12
3

Hive补充之窗口函数

窗口函数 1、hive窗口函数语法 hive中的窗口函数over() ,over()窗口函数的语法结构

2021-04-09
2

Spark中普通集合与RDD算子的zip()拉链有什么区别

集合中的zip: 如果两个集合的元素个数不相等,那么会将同等数量的数据进行拉链,多余的数据省略不用

2021-04-01
1

[AV1] Superblock and Block

从上一节我们知道,在AV1中,一帧先是分为一个或多个tile,然后由tile再进行细分为Superblock,超级块的大小,以灰度成分为基准,可以有128x128和64x64两种尺寸的选择。AV1中的Superblock与HEVC中的CTU(Coding Tree Unit)是同样...

2021-02-24
1

Spark之【RDD编程】详细讲解(No5)——《RDD依赖关系》

本篇博客是Spark之【RDD编程】系列第五篇,为大家介绍的是RDD依赖关系。

2021-01-27
2

java.lang.Exception: java.io.IOException: Illegal partition for解决方法

今天写了一个自定义分区的案例,本以为会一路顺风顺水,没想到在运行的时候,直接报了一个从没见过的一个IO异常:Illegal partition for。光从字面上看是因为分区异常导致的,但我找了半天也没有看出问题的根源在哪里~~...

2021-01-22
1

2020-12-23:如何保证MQ的高可用?

Master-Slave 部署方式主从热备,方式包括通过共享存储目录来实现(shared filesystem Master-Slave)、通过共享数据库来实现(shared database Master-Slave)、5.9版本后新特性使用 ZooKeeper 协调选择 master(Replicate...

2020-12-24
3

数分面试必考题:窗口函数

窗口函数的主要作用是对数据进行分组排序、求和、求平均值、计数等。对于数据从业者来说, sql窗口函数在实际工作中具备非常广泛的应用场景。可以大大的提高数据查询效率,同时也是数据类相关岗位的面试/笔试的必考点。...

2020-12-15
3

Kafka和RocketMQ的消息复制实现对比

消息队列复制基本单位复制方式可用性一致性RocketMQ(原生)Broker同时支持同步双写和异步复制不支持主从自动切换,无法保证可用性可以保证消息一致性KafkaPartition异步复制基于Zookeeper实现主从自动切换,保证高可用可...

2020-11-24
2

Table has no partition for value 20190507

从报错看,partition 字段,敏感的想到,分区表。所以,看下这个表的来历(因为这个表不是我创建的)

2020-09-27
2