最新 最热

大数据开发:Hadoop处理数据的优势是什么?

Hadoop之所以大数据时代得到重用,很大程度上来说,就是因为在Hadoop在大数据处理上有很大的优势,针对大规模、多样化的大数据,进行高效准确的处理。那么Hadoop能处理哪些类型数据,Hadoop处理数据的优势是什么,下面我们来详细...

2021-07-19
0

数据仓库设计和规范—数仓的数据域,指标域体系结构梳理

针对数据统计,分析指标的开发,划分对应所属业务板块,数据域,指标域,建立统一的,规范化的数据仓库和数据内容,从而能够提供标准化的,共享的数据服务能力,降低数据互动成本,致力于消除业务和技术之痛。...

2021-07-16
0

实时数仓

一方面互联网行业对实时化服务的要求日益增多,尤其在信息流,短视频应用最为显著,同时随着实时技术引擎的发展能够提供高效,稳定的实时数据服务能力。另一方面初期实时计算都是以需求为导向,采用"一路到底"的开发模式,没有形...

2021-07-16
0

大数据开发:基于Hadoop的机器学习框架

大数据成为热门关注的同时,机器学习、人工智能等话题热度也在不断攀升,尤其是在现阶段来说,大数据发展到一定阶段,与机器学习、人工智能等方面都存在斩不断的联系,因此很多人也在关注机器学习Hadoop框架。今天,我们就基于Ha...

2021-07-15
0

大数据开发:Hadoop数据写入和数据读取流程

基于Hadoop开发自己的企业大数据平台,这是现如今很多企业刚开始做大数据的选择,而在Hadoop系统框架当中,Hadoop实现数据处理的原理和技术,更是很多同学在学习上的难点。今天,我们就基于Hadoop生成数据、写入数据和读取数据...

2021-07-14
0

大数据开发:Hadoop Hive和Spark的对比

在大数据处理框架不断更新和优化的过程中,Hadoop和Spark之间既有竞争关系,也有相互协同的需求。比方说Hive和Spark,在一段时间内,很多人认为Spark会代替Hive,作为Hadoop的数据仓库,Hive真的已经落后了吗?...

2021-07-13
0

大数据开发:消息队列如何实现分布式事务?

在大数据技术生态当中,消息队列,主要是针对实时消息流的处理,而实时消息流场景下,常常需要解决的一个问题,就是数据一致性的问题,这其中又涉及到分布式事务。今天的大数据开发学习分享,我们就来讲讲消息队列如何利用事务消息...

2021-07-12
1

大数据开发:消息队列如何处理重复消息?

消息队列是越来越多的实时计算场景下得到应用,而在实时计算场景下,重复消息的情况也是非常常见的,针对于重复消息,如何处理才能保证系统性能稳定,服务可靠?今天的大数据开发学习分享,我们主要来讲讲消息队列如何处理重复消息...

2021-07-09
0

大数据开发:消息队列如何处理消息积压

实时消息流处理,是当前大数据计算领域面临的常见场景需求之一,而消息队列对实时消息流的处理,常常会遇到的问题之一,就是消息积压。今天的大数据开发学习分享,我们就来聊聊,消息队列如何处理消息积压?...

2021-07-09
0

大数据开发:消息队列如何确保消息不丢失?

消息队列在大数据技术生态当中,一直都是值得重视的存在,开源的消息队列产品,市面上也不少,基于不同的场景,需要去匹配不同的解决方案。围绕消息队列,今天的大数据开发学习分享,我们主要来聊聊,消息队列如何确保消息不丢失。...

2021-07-07
0