最新 最热

启动项目时有node-sass的错误

然后就出现了一堆错误 解决方案首先就是使用cnpm或者yarn来安装 我这里用的yarn 然后下载依赖 结果发现还是报错 找了半天才想起来这是一年前的项目 好多依赖不能用了 自己手动又更新一遍依赖包...

2018-10-10
1

数据采集框架Gobblin简介

问题导读: Gobblin的架构设计是怎样的? Gobblin拥有哪些组建,如何实现可扩展? Gobblin采集执行流程的过程?

2018-10-09
0

mac上使用yarn

1.安装 使用Homebrew安装yarn 如果不熟悉Homebrew,请查看 brew install yarn 如果你使用nvm来管理node版本的话,使用以后命令安装 brew install yarn --without-node2.使用1.创建一个新项目yarn init2. 添加依赖y......

2018-10-09
0

大数据常用组件默认端口号

.colspan{ background:#f4f4f4; font-weight: bold;}

2018-09-30
0

安装和配置Hadoop集群(3节点)

在 安装和配置Hadoop(单节点) 这篇文章中,已经进行了Hadoop单机伪集群模式的部署。生产环境中,Hadoop都是以集群方式进行安装和部署的,否则,就不需要使用Hadoop了,分布式存储和分布式运算是Hadoop提供的核心功能。这篇文章...

2018-09-30
0

安装和配置Hadoop(单节点)

Hadoop生态圈仍处于欣欣向荣的发展态势,不断涌现新的技术和名词。Hadoop的HDFS、YARN、MapReduce仍是最基础的部分,这篇文章记录了如何一步步在linux上安装单节点的Hadoop,之后就可以在它上面做一些练习了。截至目前(2018...

2018-09-28
0

解决 Hadoop 启动报错

搭建环境 | 系统:centos 7 | Java 1.8 | Hadoop:2.8.1

2018-09-21
0

Spark Streaming | Spark,从入门到精通

欢迎阅读美图数据技术团队的「Spark,从入门到精通」系列文章,本系列文章将由浅入深为大家介绍 Spark,从框架入门到底层架构的实现,相信总有一种姿势适合你,欢迎大家持续关注:)...

2018-09-18
0

为 VUE 项目添加 PWA 解决发布后刷新报错问题

下面这些文件忘记出处是哪,Github也能搜到一些,之前写的 PWA 的 Demo 里面拿过来的~

2018-09-14
1

【Spark篇】---Spark中资源和任务调度源码分析与资源配置参数应用

Spark中资源调度是一个非常核心的模块,尤其对于我们提交参数来说,需要具体到某些配置,所以提交配置的参数于源码一一对应,掌握此节对于Spark在任务执行过程中的资源分配会更上一层楼。由于源码部分太多本节只抽取关键部分...

2018-09-13
0