天天都在用的 Emoji 表情包,居然是怎么存储到 MySQL

2021-08-06 13:11:08 浏览数 (1)

现象

最近项目中存储emoji表情包的时候报错:

代码语言:javascript复制
### Cause: java.sql.SQLException: Incorrect string value: 'xF0x9Fx98x81' for column 'column1' at row 1
; uncategorized SQLException; SQL state [HY000]; error code [1366]; Incorrect string value: 'xF0x9Fx98x81' for column 'column1' at row 1; nested exception is java.sql.SQLException: Incorrect string value: 'xF0x9Fx98x81' for column 'column1' at row 1]

解决过程及方法

这个问题是由于数据库的编码方式引起的,首先我们来了解一下utf8和utf8mb4的区别

代码语言:javascript复制
utf8一般是指UTF-8,是针对Unicode的一种可变长度字符编码,每个字符最多三个字节,有时候也称为utf8mb3。
utf8mb4是utf8的超集,mb4就是most bytes 4的意思,专门用来兼容四字节的Unicode,MySQL在5.5.3之后增加了utf8mb4的编码。
MySQL支持的utf8编码最大字符长度为3字节,如果遇到4字节的宽字符就会插入异常了。三个字节的utf8最大能编码的Unicode字符是0xffff,任何不在基本多文本平面的Unicode字符,都无法使用MySQL的utf8字符集存储,包括emoji表情和很多不常见的汉字,以及任何新增的Unicode字符等。如果要在MySQL中保存4字节长度的utf8字符,需要使用utf8mb4字符集。

由以上可以看出,我们想存储emoji表情包,那么数据库的编码方式需要是utf8mb4的,接下来我们来看看数据库和数据库链接的配置:

查看数据库编码,可以看到数据库编码已经是utf8mb4

代码语言:javascript复制
show variables like 'character_set_database';

查看项目中数据库链接的配置,可以看到设置了characterEncoding=utf8

代码语言:javascript复制
jdbc:mysql://${mysql.host}:${mysql.port}/${mysql.db}?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull

注:不论是使用utf8编码还是使用utf8mb4,数据库链接url中characterEncoding都设置为utf8(或者UTF-8),没有characterEncoding=utf8mb4这种写法

既然数据库编码是utf8mb4,且数据库链接url中已经设置了characterEncoding=utf8,为什么emoji存储还是报错呢?

经研究发现,原来是pom.xml中的mysql-connector-java版本号在作祟

mysql-connector-java各版本对utf8mb4字符集的支持如下:

项目中使用的mysql-connector-java版本号为5.1.45,由上面的表格可知,需要设置mysql服务端配置文件:

代码语言:javascript复制
vi /etc/my.cnf
[mysqld]
character-set-server=utf8mb4

设置好之后,重启mysql服务,再次运行项目服务,emoji表情包已经可以写入数据库表中了

有时候,我们并没有修改mysql服务端配置文件和重启mysql服务的权限,这时候可以采用把mysql-connector-java版本号修改为5.1.47及以上或者8.0.13及以上的方式,修改版本号后不用再修改mysql服务配置文件即可存储emoji表情包。

不过mysql-connector-java的版本号也不是我们想修改成啥就修改成啥的,它和mysql版本及java版本都有关系:

mysql-connector-java与Mysql对应版本:

其中:官方更推荐MySQL 5.6以上使用connector/j 8.0

mysql-connector-java与Java对应版本:

其中:JRE 1.7需要connector/J 5.1.21以上

说到这里,大家应该知道如何解决emoji存储的问题了:首先根据mysql版本和Java版本选择对应的mysql-connector-java,再根据mysql-connector-java版本选择对应的解决方案。

有时候,我们的mysql-connector-java版本太低(可能历史项目中mysql或者java版本太低)或者不能更改mysql服务端配置文件,我们还可以采用第二种方案来存储emoji表情包:前端或者后端对用户数据进行编码解码处理,写入时,前端或者后端对用户数据中的emoji进行编码,展示时进行解码展示,由于不推荐这种解决方式,就不展开说了,大家可以自行网上搜索。

0 人点赞