大家好,又见面了,我是你们的朋友全栈君。
一个大计划中的小模块:Odin Github地址:https://github.com/chkinglee/Odin
2020-05-29
项目构思
命名出处
Odin,众神之父。
目的
从0搭建springboot项目,并集成mysql、redis、elasticsearch,作为学习demo
背景
众多服务都可能有依赖elasticsearch的需求,譬如站内信、文章、文章评论、百科文档、工单等等,将“众多服务”视为“业务方”,则每个业务自行开发针对elasticsearch的功能,不免导致代码开发和维护成本高。可考虑开发一个服务,专心实现对elasticsearch的使用。
需求
能够根据业务方和业务功能,判断使用业务方规定的索引和类型,处理业务方对elasticsearch的读写请求
设计思路
1、数据库中记录业务方tenant、业务功能module、对应的索引名称indexName、对应的类型名称typeName。
2、当业务方请求读写文档时,需要携带tenant、module、自定义docId、文档内容的jsonStr。
3、odin根据tenant、module查询数据库,找到对应的indexName和typeName,请求elasticsearch读写
4、考虑性能提升,将数据库中的信息缓存到redis中,odin处理读写请求时先查redis
辨证论
Q:依赖elasticsearch的业务模块还是要自己设计model,组织doc内容,并且要解析odin返回的内容,单独写一个odin会显得很鸡肋。
A:是的,目前对odin的构想仅停留在如何写一个最简单的demo集成mysql、redis、elasticsearch,并且能够在后期有真正的应用。各业务模块不可避免的还需要写有关elasticsearch的输入并处理elasticsearch的输出。odin更像一个工具类,只是对于同一大型系统的开发者来说,不需要过多考虑如何请求elasticsearch了,不需要把同一个工具类和其他相关代码反反复复复制粘贴。后面可能的话也会考虑封装成一个公共库。odin目前的想法是专注于对elasticsearch的应用。
2020-05-30
数据库设计
数据库应用
1、存储业务名tenant、业务模块module、索引index、类型type。当上游业务方要读写文档时,根据业务名和业务模块获取目标索引的类型。
表结构和数据示例
代码语言:javascript复制CREATE TABLE `tenant` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`tenant` varchar(64) DEFAULT NULL COMMENT '业务名',
`module` varchar(64) DEFAULT NULL COMMENT '业务模块',
`indexName` varchar(64) DEFAULT NULL COMMENT '索引',
`typeName` varchar(64) DEFAULT NULL COMMENT '类型',
`description` varchar(64) DEFAULT NULL COMMENT '业务功能描述',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8
mysql> select * from tenant ;
---- ---------- ------------- --------------------- ------------- -----------------------
| id | tenant | module | indexName | typeName | description |
---- ---------- ------------- --------------------- ------------- -----------------------
| 1 | mt | article | mt_article | article | NULL |
| 2 | hogwarts | mail | hogwarts_mail | mail | 霍格沃茨站内信 |
| 3 | hogwarts | application | hgwarts_application | application | 霍格沃茨报名表 |
---- ---------- ------------- --------------------- ------------- -----------------------
3 rows in set (0.00 sec)
核心逻辑设计
Q:如何应用elasticsearch的?
A:通俗方式是度娘“springboot集成elasticsearch” 。但目前翻看了一篇相关资料,考虑再三,并没有集成对elasticsearch的官方依赖,而是找了一个开源的httpclient工具类,仅仅是把elasticsearch当做一个服务,对doc的读写其实只是对elasticsearch的http请求。主要是相关资料中的demo,大多都是针对具体业务的,而odin的设计目的并不是针对具体业务,而是通用业务。后期再看吧。
设计思路
针对写请求
1、上游的请求格式:POST /{tenant}/{module}/{id},RequestBody为具体要写入es的jsonString
2、根据tenant和module查询数据库(使用jpa),获得indexName和typeName
3、拼接elasticsearch的url,发起http请求
测试
代码语言:javascript复制GET http://127.0.0.1:8803/api/v1/tenant/hogwarts/mail
{
"code": 0,
"message": "success",
"detail": [
{
"id": 2,
"tenant": "hogwarts",
"module": "mail",
"indexName": "hogwarts_mail",
"typeName": "mail"
}
]
}
参考资料
springboot集成mysql
springboot集成jpa
https://segmentfault.com/a/1190000014269284?utm_source=index-hottest
https://www.jianshu.com/p/2aa3d2dd83bd
2020-05-31
集成redis
redis应用
1、存储tenant具体内容,所有对doc的读写请求,每次都查询数据库严重影响性能
2、使用string,key的格式为ODIN:TENANT:{tenant}:{module},value为数据库中的tenant记录格式化为jsonString
测试
从日志来看,查询数据库耗时14-20ms左右,查询redis耗时1-3ms左右,平均8倍的性能提升。(mysql和redis均与odin同机部署)
参考资料
springboot集成redis并使用redisTemplate:
https://www.cnblogs.com/jingjiren/p/12704401.html
https://www.jianshu.com/p/c168e2b825cb
集成elasticsearch
索引、类型、映射
暂未考虑,依靠elasticsearch的自动创建,后续补充
测试
代码语言:javascript复制Request
POST /api/v1/docs/hogwarts/mail/202005310511499702 HTTP/1.1
Host: 127.0.0.1:8803
Content-Type: application/json
{
"id":"202005310511499702",
"createTime": "2020-05-31T05:11:49Z",
"sender":"chkinglee",
"receiver":"lilinzhen9702",
"content":"今天也是充满希望的一天"
}
Response
{
"code": 0,
"message": "success",
"detail": true
}
参考资料
https://www.iteye.com/blog/lxy19791111-341409
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/162789.html原文链接:https://javaforall.cn