Memcached与MySQL数据同步

2018-08-22 11:25:21 浏览数 (1)

1、介绍

  在生产环境中,我们经常使用MySQL作为应用的数据库。但是随着用户的增多数据量的增大,我们将会自然而然的选择Memcached作为缓存数据库,从而减小MySQL的压力。但是memcached在用户、应用与MySQL三者中保持着数据同步也是一个不小的工程。

  例如用户从memcached缓存中换取某数据,并且执行删除命令。它需要到MySQL中删除,之后还须要设计一个程序将Memcached与之对应的数据也删除掉。

  假若我们能够做到在MySQL中增删改时都能够自动触发删除memcached中相应的数据,那岂不美滋滋呀。这当然能够做到啦,我们将采用采用MySQL Memcached UDF(User Defined Functions)方法。

  mysql memcached UDF 其实就是通过libmemcached来使用memcache的一系列函数,通过这些函数,你能 对memcache进行get, set, cas, append, prepend, delete, increment, decrement objects操作,如果我们通过mysql trigger来使用这些函数,那么就能通过mysql更好的,更自动的管理memcache!

2、软件下载与安装
  2.1、软件下载

  需要使用的软件又两个,libmemcached以及memcached_functions_mysql

  百度云下载链接:http://pan.baidu.com/s/1pKCKjwB 密码:fks8

  网上找的下载网址:http://download.tangent.org(当时找软件的时候,网上多篇文章都说这里可以下载那两个软件。可我进去就是找不到呀,23333)

  2.2、软件安装

  简介:

  这两个软件的安装比较蛋疼,毕竟是开源软件,哪个版本依赖哪个版本,哪个版本不与哪版本个兼容。当时我安装这两个软件用了一个上午时间。因为之前我在安装PHP中memcached扩展模块需要依赖这个软件库,所以安装了一个最新版本libmemcached-1.0.18,因而能够使用PHP的memcached扩展模块中的所有功能。、

  但是在安装memcached_functions_mysql时,就显得很蛋疼了。

  一开始我直接安装memcached_functions_mysql-1.1,到make的时候就出现下面的错误。

servers.c:122: error: 'memcached_st' has no member named 'hosts' servers.c:123: error: 'memcached_st' has no member named 'hosts' servers.c:124: error: 'memcached_st' has no member named 'hosts' servers.c:126: error: 'memcached_st' has no member named 'hosts'

……

这是什么原因呢?

  这就是上面所提到软件兼容问题。

  后来在网上看到说是memcached_functions_mysql-1.1这个版本配对libmemcached-0.37版本以上都会出现这种问题。

  接着我就进行一次又一次测试:

  Libmemcached(1.0.2、1.0.3、1.0.18、0.34、0.36版本) memcached_functions_mysql-1.1进行安装。结果成功的只有0.34、0.36版本。

  因为我想要保证相对较高版本的libmemcached,因为低版本的不支持PHP的memcached扩展模块的一些新功能。

  既然memcached_functions_mysql-1.1版本不能对应libmemcached的高版本,那么我就退而求其次,使用memcached_functions_mysql-0.9咯。

  百度了好久好久没找着,最后在国外的网站github中找到。

  接着进行memcached_functions_mysql-0.9的安装测试,结果还是不理想。

  突然灵光一闪,那我就安装两个libmemcached咯,一个1.0.18版本,一个0.34版本。最终成功安装。(libmemcached-0.34与memcached_functions_mysql-1.1配对进行安装)

1):安装libmemcached-0.34

参考

http://www.cnblogs.com/phpstudy2015-6/p/6670103.html#_label2

2):安装memcached_functions_mysql-1.1

代码语言:javascript复制
#tar zxvf memcached_functions_mysql-1.1.tar.gz
#cd memcached_functions_mysql-1.1
#./configure --with-mysql=/usr/local/mysql/bin/mysql_config --with-libmemcached=/usr/local/libmemcached
#make
#make install

3):拷贝lib文件到mysql的plugin下面

代码语言:javascript复制
# cp /usr/local/lib/libmemcached_functions_mysql.* /usr/local/mysql/lib/plugin/

4)往MySQL添加memcache UDF函数

一共有两种方法:

1、在MySQL里执行 source install_functions.sql

代码语言:javascript复制
mysql>source /home/username/(memcached_functions_mysql-1.1源码路径)/sql/ install_functions.sql

2、在linux主机执行mysql <sql/install_functions.sql

代码语言:javascript复制
#/usr/local/mysql/bin/mysql < /home/username/(memcached_functions_mysql-1.1源码路径)/sql/ install_functions.sql

5):检查添加函数是否成功

代码语言:javascript复制
mysql>select * from mysql.func;

结果显示有很多函数,表示添加函数成功

注意:

1、必须要带有--with-libmemcached,否则就会显示找不到libmemcached

2、有个小细节,就是经常进行安装卸载libmemcached时(即--prefix有设置相同的名字),即使有--with-libmemcached正确的路径,也有可能会显示找不到libmemcached。

解决:可以使用不同的名字(--prefix);或者重启linux

3、功能介绍

  从select * from mysql.func;的结果中我们可以看到很多关于memcached的函数。熟悉memcached指令的同学一眼看过去就能够知道这个函数的大概功能。memc_set、memc_get这不就是相当set与get命令嘛。

具体功能可参考文档:

http://dev.mysql.com/doc/refman/5.1/en/ha-memcached-interfaces-mysqludf.html

简单测试一下这些函数:

代码语言:javascript复制
#测试前当然要先将MySQL与memcached建立连接啦!
mysql> select memc_servers_set('192.168.95.11:11211');
mysql> select memc_server_count();
mysql> select memc_set('m','llppppp');
mysql> select memc_get('m');

telnet 192.168.95.11 11211

4、实例测试

1、新建一个数据库test233以及表tab1

2、建立三个触发器

代码语言:javascript复制
插入数据:
mysql>delimiter $
mysql>create trigger tab1_insert_memc
    -> before insert on tab1
    -> for each row begin
    -> set @m=memc_set(NEW.id,NEW.name);   
    -> end$
更新数据:
mysql> create trigger tab1_update_memc
    ->before update on tab1
    -> for each row begin
    -> set @m=memc_replace(OLD.id,NEW.name);   
    -> end$
删除数据:
mysql> create trigger tab1_delete_memc
    -> before delete on tab1 
    -> for each row begin
    -> set @m=memc_delete(OLD.id);
    -> end$
mysql>delimiter ;

3、连接memcached服务器进行数据测试

代码语言:javascript复制
mysql> select memc_servers_set('192.168.95.11:11211');

1)、向tab1插入几条数据,并查看结果

代码语言:javascript复制
mysql> insert into tab1 value('1','1111aaaaff');
.......

telnet 192.168.95.11 11211

2)、更改数据

代码语言:javascript复制
mysql> update tab1 set name='ooooooooooooooo' where id=1;

telnet 192.168.95.11 11211

3)、删除数据

代码语言:javascript复制
mysql> delete from tab1 where id=1;

telnet 192.168.95.11 11211

5、总结建议

1、如果出现mysql服务重启,需要重新连接memcached服务器select memc_servers_set('192.168.95.11:11211)

2、使用命令查看可以设置的参数,根据具体项目设置最合适参数select memc_list_behaviors()/G

3、设置MEMCACHED_BEHAVIOR_NO_BLOCK为打开状态,表示在memcached出现问题时可以继续将数据插入到MySQL中。否则将会等到timeout执行插入操作。

4、在MySQL中使用这个功能时,不要一味地将所有表的数据都布置成这种形式,避免MySQL中使用过多的函数、以及触发器而影响性能。

(以上是自己的一些见解与总结,若有不足或者错误的地方请各位指出)

作者:那一叶随风

声明:以上只代表本人在工作学习中某一时间内总结的观点或结论。转载时请在文章页面明显位置给出原文链接

0 人点赞