最新 最热

Presto介绍及常用查询优化方法总结

Presto是Facebook开源的MPP(Massive Parallel Processing)SQL引擎,其理念来源于一个叫Volcano的并行数据库,该数据库提出了一个并行执行SQL的模型,它被设计为用来专门进行高速、实时的数据分析。...

2021-05-10
1

新手友好 | Hadoop-架构、原理、实时计算和离线计算

一、什么是Hadoop二、Hadoop各个组件的作用三、Hadoop核心组件的架构3.1、HDFS3.2、MapReduce3.3、YARN四、实时计算和离线计算的过程

2021-05-08
1

现有「数据库架构」过时了 !

作者:Avishai Ish-Shalom是ScyllaDB公司的开发者推广人员。

2021-05-07
1

[已解决]报错:Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000

解决方案: 在hadoop文件core-site.xml中配置信息如下,重启Hadoop,再次启动hiveserver2和beeline即可

2021-05-07
1

0839-1.7.2-如何启用CDSW的reserve master功能

Cloudera Data Science Workbench允许保留Master节点,以运行内部应用程序组件和服务(例如Livelog,PostgreSQL数据库等),而用户工作负载仅在Worker节点上运行。

2021-04-30
1

颤抖吧Hadoop 、干碎大数据之Hadoop完全分布式平台搭建

【讲在前面】 Hadoop完全分布式集群的搭建需要多台虚拟机,每台虚拟机单独安装配置比较麻烦,因此我们可以在VMware中创建一个虚拟机后完成公共的基础配置然后直接创建完整克隆,这样效率比较高。 Hadoop完全分布式集群的搭...

2021-04-29
1

实时计算框架:Spark集群搭建与入门案例

Spark是专为大规模数据处理而设计的,基于内存快速通用,可扩展的集群计算引擎,实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流,运算速度相比于MapReduce得到了显著的提高。...

2021-04-29
1

spark上传文件和追加文件到hdfs

查看源码,删除代码就一个 copyFromLocalFile方法,为啥写这么复杂呢??

2021-04-27
1

大数据集群之spark2.4.0高可用安装配置

下载地址:https://archive.apache.org/dist/spark/

2021-04-27
1

大数据集群之hbase2.1.0高可用安装配置

下载地址:http://archive.apache.org/dist/hbase/

2021-04-27
1