最新 最热

Noise 框架:构建安全协议的蓝图

Noise Protocol Framework(以下简称 Noise)是一个用于构建安全协议的框架。与 TLS,IPSec 这样的有完整实现的协议不同,Noise 更多像是一个蓝图,它为那些想创建自己的安全协议的开发者提供了一套模板。就好像元编程之于编程...

2019-12-18
0

MacOS 下hive的安装与配置

之前的文章中我们提到了Hive是Hadoop生态系统中的重要的成员之一,允许用户使用类似SQL的方式,很方便地进行离线数据的统计分析。本节我们就在Hadoop集群的基础上进行Hive的安装与配置。...

2019-12-18
0

一步一步理解Impala query profile(一)

作者:Eric Lin (林晨辉), Cloudera高级售后技术支持工程师。毕业于Monash大学计算机科学, Sir John Monash的奖学金获得者。曾就业于数据收集公司如Hitwise(现为Experian的子公司)和Effective Measure,担任高级工程师,负责设...

2019-12-16
0

0735-什么是Cloudera Management Service - 1

作者:Eric Lin (林晨辉), Cloudera高级售后技术支持工程师。毕业于Monash大学计算机科学, Sir John Monash的奖学金获得者。曾就业于数据收集公司如Hitwise(现为Experian的子公司)和Effective Measure,担任高级工程师,负责设...

2019-12-16
0

0484-Cloudera和Hortonworks合并后面临的选择

Cloudera与Hortonworks两家公司在前一段时间提出来合并,虽然两家公司都同时强调两者在产品或者技术上的互补性,但其实合并后的公司也面临一些艰难的选择,可能会对各种与Hadoop相关的开源Apache项目产生较大的影响。本文...

2019-11-28
0

0496-使用Parquet矢量化为Hive加速

Apache Hive是Hadoop之上最流行的数据仓库引擎。提升Hive性能的功能可以显著提高集群资源的整体利用率。Hive使用一连串的运算符来执行查询。这些运算符包括MapTask,ReduceTask或SparkTask,它们在查询执行计划中进行调...

2019-11-28
0

0497-如何将Kerberos的CDH6.1从Oracle JDK 1.8迁移至OpenJDK 1.8

受前段时间Oracle官宣的从2019年1月之后将不再提供免费的的JDK商业版本的影响,Cloudera开始开发基于OpenJDK的Hadoop平台,参考Fayson之前的文章《Java收费,Hadoop怎么办?》。今年11月29日,Cloudera才发布不久的CDH5.16.1正...

2019-11-28
0

0504-使用Pulse为数据管道实现主动告警

2017年年中,我们与世界上最大的医疗保健公司中的一家合作,将新的数据应用投入生产。这家公司通过收购其他公司来进行扩张,为了保持对FDA的合规性,他们需要从公司的数十个不同部门实时汇总数据。这个应用程序的消费者并不...

2019-11-28
0

0509-深入分析CDH的安装目录

如果采用Cloudera官方建议的安装方式,即Cloudera Manager使用rpm的方式安装,CDH使用Parcel方式安装,会在操作系统内产生多种多样的目录。CDH安装主要使用的目录包括/etc,/usr,/var,/tmp,/opt共5个目录,不同的目录下保存不同的...

2019-11-28
0

0511-正式合并完成后Cloudera推出新的大数据平台CDP

Cloudera在今天主要阐述了将要推出的统一旗舰产品CDP(Cloudera Data Platform),它也是Cloudera新兴的“企业数据云”战略的核心。同时宣布的还有他们将继续支持现有的CDH和HDP平台一直到2022年,同时在这3年对现有的产品还...

2019-11-28
0