最新 最热

Flink集群部署

上一节我们讲了单机模式如何部署启动,这节我们基于CentOS 7虚拟机搭建一个3个节点的集群:

2019-03-15
0

大数据入门与实战-HDFS的常用操作

与start对应的stop为停止相关的进程,比如sbin/hadoop-daemon.sh stop namenode

2019-03-15
0

Hadoop-2.7.2分布式安装手册

当前版本的Hadoop已解决了hdfs、yarn和hbase等单点,并支持自动的主备切换。

2019-03-14
0

CDH的坑之Sqoop导出数据到MySQL 原

最近使用Sqoop从Hive导出数据到MySQL中,出现了一系列的问题,下面将这个问题记录一下,避免再度踩坑!

2019-03-13
1

Hive万亿级表联合分析故障排查与优化过程

随着大数据技术日趋成熟,行业生态愈发完善,腾讯云大数据团队服务的大客户越来越多。在笔者服务的众多大客户之中,PB级海量数据已经成为常态。笔者负责大数据技术支持的某个腾讯云大数据项目,单张数据表的行数超过万亿级、...

2019-03-11
0

关于ThinkSNS+程序的 SPA(H5)安装教程

H5 是 HTML 5 的缩写,也代表新浏览器技术和标准,例如一些先进浏览所支持的一些 HTML 5 标准 APIs

2019-03-06
0

Flink on Yarn运行机制 转

从图中可以看出,Yarn的客户端需要获取hadoop的配置信息,连接Yarn的ResourceManager。所以要有设置有 YARN_CONF_DIR或者HADOOP_CONF_DIR或者HADOOP_CONF_PATH,只要设置了其中一个环境变量,就会被读取。如果读取上述的变...

2019-03-05
0

flink-connector-kafka 冲突

java.lang.NoClassDefFoundError: org/apache/kafka/common/serialization/ByteArrayDeserializer         at org.apache.flink.streaming.connectors.kafka.FlinkKafkaC...

2019-03-05
1

hdfs伪分布式搭建,伪分布式模式下yarn的配置及测验

1.安装前提条件(1)首先安装jdk,最好安装1.7及1.7以上版本,并且安装jdk的环境变量    vi ~/.bashrc     export JAVA_HOME=/usr/local/software/jdk1.8.0_141    export PATH=$JAVA_HOME/bin:$PATH......

2019-03-05
1

Flink * 转

Flink on yarn 常见错误1 Retrying connect to server2 Unable to get ClusterClient status from Application Client3 Cannot instantiate user function4 Could not reso...

2019-03-05
0