最新 最热

HDFS存储大量小文件居然有这样的问题!看我怎么搞定它!「建议收藏」

本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

2022-08-31
0

Hadoop生态系统功能组件,主要包括哪些?[通俗易懂]

经过多年的发展,Hadoop生态系统不断完善和成熟,目前已经包括了多个子项目,除了核心的HDFS和MapReduce以外,Hadoop生态系统还包括要ZoopKer、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。...

2022-08-31
1

Hadoop的生态系统介绍

Hadoop分布式文件系统是Hadoop项目的两大核心之一,是针对谷歌文件系统(GoogleFileSystem,GFS)的开源实现。是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统,能检测和应对硬件故障,用于在低成本的通用硬件上运...

2022-08-31
1

大数据平台:先做足防守,才能更好地进攻

在大数据产业近十年潮起潮落的变迁中,有一座穿越迷雾的灯塔,驱散了人们对数据应用的疑虑,照亮了数据价值回归的征程。

2022-08-30
0

0889-7.1.7-Hive on Tez解析以及日志分析

1.Tez简介Tez 是支持 DAG 作业的开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升 DAG 作业的性能。从本质上讲,Tez 组成非常简单,只有两个组成部分:数据处理管道引擎,其中一个引擎可以输入,处理和输出实...

2022-08-29
1

Facebook的开源Native大数据引擎Velox能成为我说的又好又快的Native引擎吗?

新粉请关注我的公众号昨天公众号的文章:这个大数据开源项目多半要黄,但我希望它能成。。。写了以后,后台留言最多的就是问我怎么看Facebook的Velox这个开源native引擎。其中,有该团队的人说,Gluten也和他们合作,现在已经基...

2022-08-29
1

这个大数据开源项目多半要黄,但我希望它能成。。。

新粉请关注我的公众号今天聊聊这个由Kyligence和Intel一起搞的开源项目Gluten。Gluten是什么呢?简单来说,这个项目的作用是给Spark引擎的执行赋予调用Native Vectorized engine,比如ClickHouse的能力。要具体来说呢,就是...

2022-08-29
1

【hive】hive查询报错INFO: os::commit_memory(0x00000006e9990000, 3597074432, 0) failed; error=‘Cannot alloc

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/146411.html原文链接:https://javaforall.cn

2022-08-28
0

hive 正则表达式详解[通俗易懂]

项目github地址:bitcarmanlee easy-algorithm-interview-and-practice 欢迎大家star,留言,一起学习进步

2022-08-27
0

0888-7.1.6-如何在集群外安装多集群Gateway支持

1.文档编写目的在使用CDH/CDP集群过程中会遇到在集群外的节点使用Hadoop命令访问集群(如:HDFS、HBASE、HIVE、SPARK、YARN)等命令操作。但是有特殊需求:1.不想将这个节点加入到CDH/CDP集群中管理,只用于实现CDH/CDP集群的...

2022-08-26
1