我们还可以使用Ranger对HDFS进行目录权限访问控制。这里需要添加“HDFS-Plugin”插件。

（1）sparkstreaming从kafka接入实时数据流最终实现数据可视化展示，我们先看下整体方案架构：

在经济全球化的推动下，港口作为交通运输的枢纽，在促进国际贸易和地区发展中起着举足轻重的作用。随着港口信息化水平的不断提高，国内外许多港口都在尝试将大数据技术、云计算、物联网、可视化等相关信息技术应用于港口生...

第三期【实用的开源项目】教程为大家介绍一下 TaleBook ，教大家使用云服务器部署TaleBook，简洁、强大的私人书籍管理系统！这篇文章是详细的文字版，若希望方便查看视频，请向下滑动，查看视频，或者直接到 BiliBili 搜索 我是小...

JVM进程运行期间，可能会出现因为YGC或OGC周期过长导致的明显停顿，从而极大影响用户使用体验。本文总结了作者在一次针对JVM进程的整体调优过程中所使用的工具和方法，用于备忘。文中所述的系统为国内某知名2B公司自研的搜...

Kafka 的消息传输保障机制非常直观。当生产者向 Kafka 发送消息时，一旦消息被成功提交到日志文件，由于多副本机制的存在，这条消息就不会丢失。

据统计，2021年，我国分布式光伏年度新增规模约2900万千瓦，突破新增光伏发电装机的50%，约占55%，发展势头强劲。

一、滚动窗口（Tumbling Windows） 滚动窗口有固定的大小，是一种对数据进行均匀切片的划分方式。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。滚动窗口可以基于时间定义，也可以基于数据个数定义；需要的参数只有一个，...

大数据，IT行业的又一次技术变革，大数据的浪潮汹涌而至，对国家治理、企业决策和个人生活都在产生深远的影响，并将成为云计算、物联网之后信息技术产业领域又一重大创新变革。未来的十年将是一个“大数据”引领的智慧科技的...

大数据存储不是一类单独的产品，它有很多实现方式。EMC Isilon存储事业部总经理杨兰江概括说，大数据存储应该具有以下一些特性：海量数据存储能力，可轻松管理PB级乃至数十PB的存储容量；具有全局命名空间，所有应用可以看到统一...