最新 最热

hadoop集群搭建

core-site.xml 、hdfs-site.xml 、yarn-site.xml 、mapred-site.xml

2022-05-28
1

HBase完全分布式搭建 | 集群建表测试

HBase是一个分布式的、面向列的开源数据库,一个结构化数据的分布式存储系统。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。...

2022-05-27
1

大数据技术周报第 002 期

最近试了下在百度和 Google 搜索自己的id,结果真的差距不小。百度给 CSDN 的权重太高了。。(让人喷饭!)

2022-05-26
1

Grafana+Prometheus 搭建 JuiceFS 可视化监控系统

作为承载海量数据存储的分布式文件系统,用户通常需要直观地了解整个系统的容量、文件数量、CPU 负载、磁盘 IO、缓存等指标的变化。

2022-05-26
1

ES 写入优化记录,从3000/s到8000/s

优化前,写入速度平均3000条/s,一遇到压测,写入速度骤降,甚至es直接频率gc、oom等;优化后,写入速度平均8000条/s,遇到压测,能在压测结束后30分钟内消化完数据,各项指标回归正常。...

2022-05-24
1

elasticsearch-spark的用法

Hadoop允许Elasticsearch在Spark中以两种方式使用:通过自2.1以来的原生RDD支持,或者通过自2.0以来的Map/Reduce桥接器。从5.0版本开始,elasticsearch-hadoop就支持Spark 2.0。目前spark支持的数据源有:...

2022-05-23
1

使用HUE执行多条SQL

HUE是由Cloudera贡献到apache社区的一款hadoop ui工具,可以实现对hadoop的管理,连接查询系统,例如Hive,Impala等,使用起来非常方便。但是,当我们使用HUE提交SQL的时候,默认是只会执行最后一条SQL的。因此,当我们执行如下的SQL...

2022-05-20
1

使用beeline命令行访问Impala集群

Impala本身提供了两种接口进行访问:beeswax和hs2,其中beeswax是impala自己开发的api,而hs2是兼容hive的。由于beesswax的连接方式需要使用impala自己提供的python脚本,而且不支持HA,因此这里就不再多做介绍。本文主要介绍...

2022-05-20
1

Kylin独立HBase集群部署常见问题汇总

Kylin在部署的以后需要依赖Hadoop,Hive以及HBase等组件,最近公司内部在部署Kylin服务的时候遇到了不少问题。主要是HBase集群是独立部署的,与Kylin部署的HDFS不是同一个,因此踩了许多坑,这里将遇到的一些问题记录下来,希望...

2022-05-20
1