1. 自我介绍 2，介绍一下项目 3，MapReduce中容易发生数据倾斜，是怎么产生的，如何处理？ 4，Hive数据倾斜怎么产生的？ 怎么处理？ 5，Spark 数据倾斜怎么产生，如何处理？ 6. 大表和小表如何进行查询？ 7.说说HashMap？ 8.hashMap使用什么样...

Alluxio是世界上第一个用于云分析和人工智能的开源数据编排技术。它弥合了数据驱动应用程序和存储系统之间的鸿沟，使存储层的数据更接近数据驱动应用程序，并使其易于访问，使应用程序能够通过一个通用接口连接到多个存储...

HDFS提供了一个高效的缓存加速机制—— Centralized Cache Management ，它允许用户指定要缓存的HDFS路径。NameNode会和保存着所需Block数据的所有DataNode通信，并指导它们把块数据缓存在堆外内存（off-heap）中进行缓存。D...

在伊利集团，通过智能系统就能使运营效率提升19%，能源成本降低5%，每年减少的碳排放量相当于多种植2.5公顷阔叶林；在祁连山水泥，使用数字化解决方案助力单月熟料标准煤耗降至100公斤/吨以下，每年成本降低近60万欧元；在施耐德电...

近期Datahub进行了一次大的版本更新，从0.9版本以后Datahub也正式发布了列级别数据血缘的功能。

我们知道通过反向ssh可以借助有固定IP的外网服务器登陆没有外网IP的内网主机，但是我们在真正使用的时候可能不仅仅需要远程登陆，可能还会需要内网机器中其他端口提供的服务。比如现在我需要在远处利用Spark程序去操作内...

2022年10月28日，国务院办公厅发布《全国一体化政务大数据体系建设指南》（以下简称《指南》）。

在系统中，随着我们的进程越来越多，难免不同进程之间要互相传输一些数据，那么这个时候该怎么办呢？

随着数字经济时代的到来，数据已成为一种基础性资源。然而，数据的泄漏、滥用或非法传播均会导致严重的安全问题。因此，对数据进行隐私保护是现实需要，也是法律要求。隐私集合求交（Private Set Intersection, PSI）作为解决数...

随着互联网、物联网、大数据等新技术的不断发展，网络空间暴露的资产和服务日益增多，国内外网络安全形势也日益复杂，安全事件发生频率也逐渐增加。此外，安全事件提及的资产情报作为网络空间测绘研究的重要输入，通过对事件中...