一个成熟的项目通常都会自带提供metric，反映运行时内部的各个信息，以方便进行监控运维。hadoop也不例外，通过jmx可以查看内部各个metrics信息，本文就来聊聊hdfs的metrics。...

银行通过隐私计算引入外部不动产数据，与行内贷款企业的时点贷款余额、注册资本等数据联合建立企业贷中预警监测模型，提升银行风险监测业务能力；银行利用联邦学习与互联网公司的客户特征数据完成联合建模，提升信用卡反欺诈...

在海量基因数据中进行全基因数据分析，了解各种疾病与DNA之间的隐秘联系；对海洋气候进行预测，利用强大的数据分析性能，实现分钟级的数据刷新、精准预测海洋气候；利用高速相机模拟人脑上亿个神经元之间联接与工作，对产生的海...

在yarn架构中，application由一个个的container组成，每个container可运行在不同的nodemanager节点上，每个container的日志存储在container所运行的nodemanger节点上，这些日志会有一定的生命周期，超过指定时间后，日志会被删除...

hdfs客户端写文件的流程，大体可以分为两个步骤：第一步是创建或打开文件，第二步是进行block的写操作。

名称配额指的是根目录树中的文件和目录的最大数量，即递归计算子目录，孙子目录下的文件和目录数。

HDFS客户端在写文件之前需要先获得租约，该租约充当文件的锁，以防止多个客户端对该文件的同时写入。

在《HDFS——editLog文件》一文中提到了namenode（后面简称nn）的元数据信息由editlog和fsimage文件组成。

etl-engine支持None和Kerberos认证方式，适合测试环境及企业应用中的认证场景。

从数据库到数据仓库，最后到数据湖[1]，随着数据量和数据源的增加，数据格局正在迅速变化。数据湖市场预计增长近 30%[2]，将从 2020 年的 37.4 亿美元增长到 2026 年的 176 亿美元。此外从 2022 年数据和人工智能峰会[3]来看...