react社区的兴起,带来了很多react相关的插件,今天遇到了关于视频播放的功能,本想着用原生的代码写,可是发现了原生视频的功能完全不能满足业务的需求,需要另外定制.今天带来一个video-react功能使用:首先安装:yarn ad...

波士顿的 数据科学团队正在利用尖端工具和算法来优化商业活动，且这些商业活动是基于对用户数据中的深刻透析。数据科学大量使用机器算法，可以帮助我们在数据中识别和利用模式。从互联网大规模数据中获取透析是一项具有...

HBase主要用ZooKeeper来实现HMaster选举与主备切换、系统容错、RootRegion管理、Region状态管理和分布式SplitWAL任务管理等。HMaster选举与主备切换HMaster选举与主备切换的原理和HDFS中NameNode及YARN中ResourceMan...

Spark On Yarn完全分布式搭建    Spark On Yarn的搭建分为三个阶段，第一个是Zookeeper集群的搭建，第二是Hadoop集群的搭建，第三是Spark集群的搭建。所以以下将按照这三个步骤来给大家进行展示Spark On Yarn完全分布式...

随着spark越来越流行，我们的很多组件都有可能和spark集成，比如说spark处理完的数据写入mysql，redis，或者hbase，elasticsearch，spark本身不包含db的依赖的，这就需要自己解决依赖的jar包，这里大致有两种处理思路处理依赖问题： ...

用过sparkstreaming的人都知道，当使用sparkstreaming on yarn模式的时候，如果我们想查看系统运行的log，是没法直接看的，就算能看也只是一部分。这里的log分：（1）下面会介绍下如何使用：streaming项目中的log4j使用的是apache lo...

令人惊讶的是，Hadoop在短短一年的时间里被重新定义。让我们看看这个火爆生态圈的所有主要部分，以及它们各自具有的意义。对于Hadoop你需要了解的最重要的事情就是，它不再是原来的Hadoop。这...

接前一篇博客，这次做安装一个真正的分布式集群环境。准备这里准备三台机器bd1,bd2,bd3来组个hadoop集群，其中bd1作为namenode，bd1,bd2,bd3作为datanode配置这三台机器之间可以免密码 SSH 登录，参考我以前的博客。配置修改...

6月15日，IBM 宣布计划大规模投资 Spark 相关技术，此项声明会促使越来越多的工程师学习 Spark 技术，并且大量的企业也会采用 Spark 技术。Spark 投资的良性循环会使 Spark 技术发展更加成熟，并且可以从整个大数据环境中获...

今天尝试将以前创建的一个前端项目改为webpack编译，该项目使用了VueJS v2.0，原来是编写gulp脚本完成构建的。很自然就直接用vue-cli来搞定这个事了。使用vue-cli创建项目因为以前用过webpack，而vue-cli创建的项目底层其...