温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
Fayson的github： https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢
1.文档编写目的
在前面Fayson介绍了《如何在CDH中安装和使用StreamSets》、《如何使用StreamSets从MySQL增量更新数据到Hive》以及《如何使用StreamSets实现MySQL中变化数据实时写入Kudu》，本篇文章Fayson主要介绍如何使用StreamSets实现MySQL中变化数据实时写入HBase。
StreamSets实现的流程如下：
- 内容概述
1.环境准备
2.创建StreamSets的Pipeline流程
3.Pipeline流程测试
4.总结
- 测试环境
1.StreamSets版本为3.3.0
2.CM和CDH版本为5.12.1
3.MariaDB版本为5.5.56
2.环境准备
1.开启MariaDB的Binlog日志
修改/etc/my.conf文件，在配置文件[mysqld]下增加如下配置
代码语言：javascript复制server-id=1
log-bin=mysql-bin
binlog_format=ROW（可左右滑动）
注意：MySQL Binlog支持多种数据更新格式包括Row、Statement和mix（Row和Statement的混合），这里建议使用Row模式的Binlog格式，可以更加方便s实时的反应行级别的数据变化。
修改完MariaDB的配置后重启服务。
代码语言：javascript复制[root@cdh01 ~]# systemctl restart mariadb
[root@cdh01 ~]# systemctl status mariadb（可左右滑动）
使用root用户登录MariaDB创建同步账号
代码语言：javascript复制GRANT ALL on slave_cdc.* to 'slave_cdc'@'%' identified by '123456';
GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE on *.* to 'slave_cdc'@'%';
FLUSH PRIVILEGES;（可左右滑动）
2.StreamSets安装MySQL驱动
将MySQL的JDBC驱动拷贝至
/opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR/streamsets-libs/streamsets-datacollector-mysql-binlog-lib/lib目录
3.在MariaDB数据库中创建测试表
代码语言：javascript复制create database mysqlcdc;
create table cdc_hbase (
id int,
name varchar(32),
age int
);（可左右滑动）
4.在HBase命令行执行如下命令创建一个HBase的表
代码语言：javascript复制create 'cdc_test','info'（可左右滑动）
3.创建StreamSets的Pipline
1.登录StreamSets，创建一个新的Pipline
2.选择Origins类别，搜索MySQL Binary Log
配置MySQL Binary Log
配置MySQL信息
配置同步账号信息
高级配置，根据自己的需要进行配置
到此MySQL Binary Log的配置完成。
3.添加表过滤的Stream Selector，这里添加一个“Stream Selector”主要是用于过滤我们需要处理的表
Stream Selector基本配置
配置分流条件
4.添加一个回收站用于处理“Stream Selector”中“default”类型的数据
5.添加HBase模块处理“Stream Selector”模块的cdc_hbase的日志
配置HBase
6.流程创建完成后，启动该检查该Pipelines是否正确
7.启动mysql-cdc2hbase
4.Pipeline流程测试
1.登录MariaDB数据库，向cdc_test表中插入数据
代码语言：javascript复制insert into cdc_hbase values(1, 'fayson',21);（可左右滑动）
可以看到HBase成功的处理了一条数据，使用Hue查看HBase的cdc_test表数据
数据成功的插入到HBase的cdc_test表中。
2.登录MariaDB数据库修改cdc_hbase表中数据
代码语言：javascript复制update cdc_hbase set name='fayson-update' where id=1;（可左右滑动）
查看StreamSets的Pipeline实时状态
使用Hue查看HBase的cdc_test表
3.登录MariaDB数据库删除cdc_hbase表中数据
代码语言：javascript复制delete from cdc_hbase;（可左右滑动）
查看StreamSets的Pipeline实时状态
可以看到HBase未成功处理删除操作的MySQL Binary Log日志，通过Hue查看HBase的cdc_test表数据，由于HBase模块没有成功处理删除操作，所以cdc_test表测数据未删除。
5.总结
1.实现MySQL CDC的前提是需要开启MySQL的Binary Log日志，并且需要创建复制账号，SreamSets中MySQL-Binary Log实际充当的为MySQL的一个Slave。
2.向HBase实时写入数据的前提是HBase的表已存在，否则无法正常写入数据。
3.在向HBase表中写入实时的MySQL的Binary Log日志，对于Insert和Update类型的数据可以正常的插入和更新，但对于Delete类型的数据目前HBase模块无法处理，需要做额外的处理，在后面的文章Fayson会介绍如何处理。
提示：代码块部分可以左右滑动查看噢
为天地立心，为生民立命，为往圣继绝学，为万世开太平。 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操
