最新 最热

基于Kerberos认证的大数据权限解决方案

Kerberos是由麻省理工(MIT)开发,对三方进行验证鉴权的服务安全管理系统。该系统很好的体现了西方三权分立的思想,其名字也很形象,来源于希腊神话地狱三个脑袋的看门狗。...

2021-03-30
1

Yarn运行中的任务如何终止?

我们的作业是使用yarn来调度的,那么肯定就需要使用相关的命令来进行管理,简单的有查询任务列表和killed某一个正在运行中的任务。

2021-03-30
1

星火计划 | 面向数据湖的下一代大数据存储——Ozone技术沙龙火热报名中

导语:大数据技术与应用不断演进,数据存储需求愈发多元、复杂,由此催生了许多新的存储系统,以支撑上层业务系统运行,技术生态也日益繁荣。 Ozone就是Hadoop社区推出的新一代分布式存储系统,它能够满足海量小文件存储需求,支持...

2021-03-30
0

JAVA在大数据行业为何如此重要?

大数据时代,在面对众多的大数据就业岗位,我们应该如何去选择职业发展方向,以及该如何去学习相应技能达到企业要求呢?

2021-03-29
0

Flink结合Kafka实时写入Iceberg实践笔记

环境:本地测试环境 JDK1.8 、Flink 1.11.2 、Hadoop3.0.0 、Hive2.1.1

2021-03-27
1

一文告诉你大数据的未来

实际上,这句话并不是空口说出来的,而是因为现在大数据已经悄然渗透进了我们的生活,你可以发现,在我们的周边,一切都在体现大数据的重要性。也许我们对自己的看法会受到各种各样的主观或者客观的因素影响,但是谷歌却没有这些...

2021-03-26
1

关于CDH集群配置文件目录的问题

写这篇文章的目的是记录下今天办的蠢事,公司业务需求需要扩容集群,新增100多台机器,这批机器之前有装过cdh所以在扩集群之前药清理一些不必要的文件。...

2021-03-25
1

Kerberos相关问题进行故障排除| 常见错误和解决方法

此消息表明一个操作尝试要求以Kerberos的user/host@realm身份认证的操作,但票据cache中没有用于user/host@realm的票据。

2021-03-25
1

月薪高达20K的大数据到底是什么?

随着人工智能、大数据、云计算、区块链等新技术日益出现,不断的使传统行业产业链进入到互联网的世界,从而开始这让互联网技术的使用范围辐射得更加的广泛,而正是因为有了这些技术的出现,使大数据成为了它们的基石,万物互联...

2021-03-24
1

数据搬运组件:基于Sqoop管理数据导入和导出

Sqoop是一款开源的大数据组件,主要用来在Hadoop(Hive、HBase等)与传统的数据库(mysql、postgresql、oracle等)间进行数据的传递。

2021-03-24
1