最早接触Doris是在2020年初，当时是为了解决在海量数据上实时高并发查询的问题，当时调研了很多框架，在使用这Doris之前我的架构和其他公司的架构基本差不多，Hadoop，Hive，Spark，Presto，但是这些都满足不了我的需求，在调研Clickho...

我叫徐振中。我于 2015 年加入 Netflix，担任实时数据基础架构团队的创始工程师，后来领导了流处理引擎团队。我在 2010 年代初对实时数据产生了兴趣，从那时起我就相信还有很多价值有待发掘。...

kafka 是业界消息中间件之楷模，他从网络设计、副本同步机制设计的很优秀，业界也很多公司都使用了 kafka，当初我在腾讯的内部后端 serve 有些场景也是通过 Kafka 解耦和实现一次性语义，我们公司目前 kafka 使用的场景也比...

它是一个ConcurrentMap，key是TopicPartition类，代表一个topic的一个partition。value是一个包含ProducerBatch的双端队列。等待Sender线程发送给broker。画张图来看下：

1) 缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的作用，把消息暂存在kafka中，下游服务就可以按照自己的节奏进行慢慢处理。...

在进行Kafka数据写入的过程中，首先第一步需要先确定Kafka集群对外暴露的地址。也许你可能会有疑惑，Kafka的地址还需要确认？不是直接kafka_ip:9092就可以了吗？稍等稍等，你也许对Kafka的地址了解的没有那么多。在Kafka中有两...

实际上，零拷贝是有广义和狭义之分，目前我们通常听到的零拷贝，包括上面这个定义减少不必要的拷贝次数都是广义上的零拷贝。其实了解到这点就足够了。...

在Kafka中，SASL机制包含三种，它们分别是Kerberos、PLAIN、SCRAM。以PLAIN认证为示例

WebSocket网上很多教程，这里不详细描述。简单来说：WebSocket协议是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双工(full-duplex)通信——允许服务器主动发送信息给客户端。...

Controller作为Kafka集群中的核心组件，它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。Controller与Zookeeper进行交互，获取与更新集群中的元数据信息。其他broker并不直接与zookeeper进行通信...