实际上算法这块我还是个菜狗 没办法机会难得，不知道下次能不能这么走运 只能硬着头皮上了……!

文件中有两个配置，删除其中任意一个，修改剩下的一个配置将address改为系统新分配的mac地址，将NAME改成eth0,保存退出

•step1：数据写入的时候，只写入内存 •step2：将数据在内存构建有序，当数据量大的时候，将有序的数据写入磁盘，变成一个有序的数据文件 •step3：基于所有有序的小文件进行合并，合并为一个整体有序的大文件...

•MapReduce写入Hbase原理：封装了一个TableOutputFormat来实现写入Hbase的数据 •要求 –写入Hbase的数据的V的类型必须为Put类型

•创建全局索引，会自动构建一张索引表 •索引表结构 –Rowkey：索引字段+原表的rowkey –列：占位置x •特点：如果查询字段或者查询条件不是索引字段，就不会走索引 •应用：适合于读多写少...

•个数原则：如果列的个数比较多，建议2 ~ 3个，如果列的个数比较少，建议1个 –列族个数多了，导致比较次数变多，降低性能 –列族个数少了，导致列的比较次数变多，降低性能 •长度原则 ：能满足业务需求的情况下，越短越好...

•Hive是通过构建元数据，映射HDFS文件构建成表，本质还是HDFS，实现离线大数据仓库 •Hbase是通过构建上层分布式内存，底层HDFS，实现大数据实时存储的NoSQL数据库...

•功能：Hbase是一个分布式的、基于分布式内存和HDFS的按列存储的NoSQL数据库 •应用：Hbase适合于需要实时的对大量数据进行快速、随机读写访问的场景

分布式实时消息队列Kafka（一）知识点01：课程回顾 Hbase是什么？ 分布式基于内存按列存储NoSQL数据库，用于实时、随机读写大量的数据 Hbase的设计思想是什么？ 冷热数据分离热数据：大概可能被使用的数据，新产生的数据 写入内...

因为MySQL保存着我们爬取的以及自建的数据，对于爬取的数据，数据量比较大，使用mysql 存储会影响mysql的性能，并且我们需要对数据进行流式计算，对数据进行各种统计，mysq满足不了我们的需求，我们就将mysql中的全量数据同步到HBA...