最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数...

PPV课大数据“大数据”作为当下最火热的IT行业词汇，在主流的数据处理工具当中Hadoop和Spark都被大家所熟悉。不过，目前基于内存计算的Spark适合各种迭代算法和交互式数据分析，能够提升大数...

1、情况描述如题所示，hbase启动以后，HMaster进程启动了，几秒钟以后自动关闭，但是HRegionServer进程正常运行；原因是，hdfs的默认端口号是8020，而我core-site.xml中将hdfs的端口修改为了9000。<property> <name>fs.defaultF...

在NoSQL数据库领域，统治产品无疑当属MongDB和DataStax Enterprise（一个领先的Apache Cassandra发行版）。但近来MongoDB，甚至整个NoSQL数据库市场不断遭受IT业界质疑，认为“大数据时代NoSQL并非颠覆性技术”，MongoDB技术门槛...

VoltDB公司首席技术官Ryan Betts表示，SQL已经赢得了大型企业的广泛部署，大数据是它可以支持的另一个领域。 Couchbase公司首席执行官Bob Wiederhold表示，NoSQL是可行的选择，并且从很多方面来看，它是大数据的最佳选择，...

本文对hbase集群进行优化，主要涵盖硬件和操作系统，网络通信，JVM，查询，写入，核心服务，配置参数，zookeeper，表设计等多方面。我们对hbase的应用主要是用户画像，根据自身使用场景做一些优化。难免有片面之处。一、软硬件优化：1. 配...

使用RHadoop结合hdfs存储R语言输入数据1 R语言是著名的开源统计分析和绘图语言，但限于功能，只能进行单机存储数据和计算，通过hadoop的功能可以存储更多的数据和并行计算。Rhadoop包括rhdfs、rmr2、rhbase等R语言插件，rhdf...

一 三范式 1,所有列必须为原子化列 2,设计时需要主键列 3,所有非主键列不能依靠传递与主键列发生关系（所有列与主键列发生的都是直接关系） 生活中的主键：ID 车牌 手机号 二 关系 数据库结构关系 集合 --> 表 线型关系 --...

本人住在有人间天堂之称的城市，6年多开发经验，最近2年主要在做大数据相关的开发，最近考虑换工作，基本也只考虑大数据相关岗位。目前新工作已经找好，但想分享一下最近面试的失败一些经历(成功的那些就不讲了)，吐槽吐槽，跟广大...

离线数据分析平台实战——260用户数据ETLETL目标解析我们收集的日志数据，将解析后的数据保存到hbase中。 这里选择hbase来存储数据的主要原因就是： hbase的宽表结构设计适合我们的这样多种数据格式的数据存储（不同event...