最新 最热

行业客户现场SparkStreaming实时计算使用案例问题总结

虽然当前实时计算领域所有厂商都推荐Flink框架,但是某些传统行业客户因为多年固化的业务场景仍然坚持使用SparkStreaming框架。本文主要记录Spark概念架构、SparkStreaming性能问题处理、SparkStreaming 7*24作业在Ker...

2024-09-12
1

谈谈我对实时计算的理解

在这个数据驱动的时代,实时计算和大数据处理成为了许多企业和开发者关注的焦点。这里就来简单介绍一下实时计算和Flink的相关概念,希望能帮助大家快速入门。...

2024-08-23
3

2024年大数据方向的发展趋势

最近事情较多,因为临近年底,在做总结和后续规划,在这一年中,数据开发方向仍然在快速发展,新概念和新技术层出不穷。

2024-02-01
1

大数据初识------Flink如何实现Exactly once计算不重不丢

Flink是使用Kafka链接计算任务,利用kafka的exactly once实现流计算的不重不丢,而Kafka 的 Exactly Once 语义是通过它的事务和生产幂等两个特性来共同实现的

2023-11-28
1

基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(四)实时计算需求及技术方案

逆地理编码:https://lbsyun.baidu.com/index.php?title=webapi/guide/webservice-geocoding-abroad

2023-10-22
1

大数据架构设计(四十五)

Lambda架构设计目的在于提供一个满足大数据系统关键特性的架构。整合离线计算和实时计算,融合不可变性、读写分离和复杂性隔离等原则。

2023-10-08
1

Tugraph Analytics图计算快速上手之紧密中心度算法

紧密中心度(Closeness Centrality)计量了一个节点到其他所有节点的紧密性,即该节点到其他节点的距离的倒数;节点对应的值越高表示紧密性越好,能够在图中传播信息的能力越强,可用以衡量信息流入或流出该节点的能力,多用与社交...

2023-09-19
1

开源XL-LightHouse与Flink、ClickHouse之类技术相比有什么优势

Flink是一款非常优秀的流式计算框架,而ClickHouse是一款非常优秀的OLAP类引擎,它们是各自所处领域的佼佼者,这一点是毋庸置疑的。Flink除了各种流式计算场景外也必然可以用于流式统计,ClickHouse同样也可以用于流式统计,但...

2023-08-16
1

数据中心互联光网络之数据实时计算

本⽂主要针对波分运营管理系统展开介绍,即波分事件中⼼主要⽬的与技术⼿段浅谈。⽽开放光系统运营关键核⼼就是事件(event),运营事件的⽬标是⼀个事件解决⽹络的⼀个具体的问题。事件中⼼则是将⽹络所经历的所有事件准确...

2023-05-12
1

聚合支付实现商场、会员、商户三方共赢

随着移动支付的兴起,绝大多数商场已经从原来的统一收银改为商户自主收银。但是,商场转为商户自主收银后,商场面临不知道商户实际经营情况,在租金谈判和续租谈判中,商场因为不清楚商户的实际收入,丧失了一部分话语权。同时,因...

2023-03-22
1