HDFS是分布式文件系统。HDFS支持fsck命令来检查系统中的各种不一致状况。我们可以使用fsck 来查看当前文件系统的状态。该命令提供了若干选项，不同选项完成不同的功能。...

在非HA情况下，如果HDFS中RM-Restart相关的块丢失，会导致RM无法启动。

文件系统（FS）shell包括各种类似shell的命令，这些命令直接与Hadoop分布式文件系统（HDFS）以及Hadoop支持的其他文件系统交互，例如本地FS，HFTP FS，S3 FS等。HDFS文件系统相关操作，主要使用以下2个命令：...

集群是弹性 MapReduce（ EMR ）提供托管 服务的基本单元，也是用户使用和管理 EMR 服务的主要对象。本文为您介绍通过腾讯云官网控制台，快速创建 EMR 集群。...

Elastic MapReduce（EMR）是腾讯云提供的云上 Hadoop 托管服务，提供了便捷的 Hadoop 集群部署、软件安装、配置修改、监控告警、弹性伸缩等功能，EMR部署在腾讯云平台（CVM）上，配合消息中间件、CDB等产品为企业提供了一套较为完...

本文将通过一个简单，并且具有典型代表的例子，描述如何使用EMR产品中的Hue组件创建工作流，并使该工作流每天定时执行。

Apache Hadoop YARN 是开源 Hadoop 分布式处理框架中的资源管理和作业调度技术。作为 Apache Hadoop 的核心组件之一，YARN 负责将系统资源分配给在 Hadoop 集群中运行的各种应用程序，并调度要在不同集群节点上执行的任...

NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问。为了提高HDFS的高可用性，在 Hadoop2.0 中，HDFS NameNode支持了高可用架构，如下图。...

为了获得集群数据访问控制能力，在创建集群的时候，请勾选ranger组件。在集群初始化完成后，请在组件快捷入口中，找到ranger的快捷访问入口，并登陆ranger的管理页面。...

导语：Spark 为结构化数据处理引入了一个称为 Spark SQL 的编程模块。它提供了一个称为 DataFrame 的编程抽象，并且可以充当分布式 SQL 查询引擎。