开源啦~基于高性能 RPC 框架实现微服务实战

2022-12-05 11:04:21 浏览数 (1)

概览

下面给大家介绍一开源高性能 RPC 框架 KiteX,该框架由bytedance开源,实践过数千个微服务,QPS过亿。经过持续迭代、持续更新,在吞吐和延迟方面表现了显著的效果。作为 Golang 微服务 RPC 框架,具有高性能、强可扩展的特点。如果对微服务性能有要求,又希望定制扩展融入自己的治理体系,Kitex 会是一个不错的选择。

架构设计

框架特点

  • 高性能

使用自研的高性能网络库 Netpoll,性能相较 go net 具有显著优势。

  • 扩展性

提供了较多的扩展接口以及默认扩展实现,使用者也可以根据需要自行定制扩展,具体见下面的框架扩展。

  • 多消息协议

RPC 消息协议默认支持 Thrift、Kitex Protobuf、gRPC。Thrift 支持 Buffered 和 Framed 二进制协议;Kitex Protobuf 是 Kitex 自定义的 Protobuf 消息协议,协议格式类似 Thrift;gRPC 是对 gRPC 消息协议的支持,可以与 gRPC 互通。除此之外,使用者也可以扩展自己的消息协议。

  • 多传输协议

传输协议封装消息协议进行 RPC 互通,传输协议可以额外透传元信息,用于服务治理,Kitex 支持的传输协议有 TTHeader、HTTP2。TTHeader 可以和 Thrift、Kitex Protobuf 结合使用;HTTP2 目前主要是结合 gRPC 协议使用,后续也会支持 Thrift。

  • 多种消息类型

支持 PingPong、Oneway、双向 Streaming。其中 Oneway 目前只对 Thrift 协议支持,双向 Streaming 只对 gRPC 支持,后续会考虑支持 Thrift 的双向 Streaming。

  • 服务治理

支持服务注册/发现、负载均衡、熔断、限流、重试、监控、链路跟踪、日志、诊断等服务治理模块,大部分均已提供默认扩展,使用者可选择集成。

  • 代码生成

Kitex 内置代码生成工具,可支持生成 Thrift、Protobuf 以及脚手架代码。

实战

基于 Etcd 实现服务注册与发现

  1. 首先基于 Mac或Linux 环境,搭建 Go 开发环境,安装需要的开发工具。
  2. 安装需要的软件工具:Etcd、Nacos。
新建 RPC 微服务项目
服务提供者

新建一工程项目,引入依赖:

代码语言:javascript复制
github.com/cloudwego/hertz v0.3.2
github.com/cloudwego/kitex v0.4.2
github.com/kitex-contrib/registry-etcd v0.0.0-20220110034026-b1c94979cea3
github.com/kitex-contrib/registry-nacos v0.0.1

这里除了引入基于 Http 协议的框架 Hertz,还需要引入 Kitex 依赖,同时,需要引入注册中心服务:etcd、nacos 等。

引入完之后,我们需要新建基于 Hertz 的项目,因为此项目是基于 Hertz(此框架后续会进行相关的开发延伸),实际是基于 Http 协议,新建完成后,我们来看 main 函数:

代码语言:javascript复制
r, err := etcd.NewEtcdRegistry([]string{"127.0.0.1:2379"})

svr := user.NewServer(new(UserServiceImpl),
  server.WithServerBasicInfo(&rpcinfo.EndpointBasicInfo{ServiceName: constants.UserServiceName}), // server name
  server.WithMiddleware(middleware.CommonMiddleware),                                             // middleware
  server.WithMiddleware(middleware.ServerMiddleware),
  server.WithServiceAddr(addr),                                       // address
  server.WithLimit(&limit.Option{MaxConnections: 1000, MaxQPS: 100}), // limit
  server.WithMuxTransport(),                                          // Multiplex
  server.WithSuite(trace.NewDefaultServerSuite()),                    // tracer
  server.WithBoundHandler(bound.NewCpuLimitHandler()),                // BoundHandler
  server.WithRegistry(r),
)

由于此处使用的是 Etcd 作为服务注册中心,故 Kitex 提供了此模块etcd "github.com/kitex-contrib/registry-etcd"etcd.NewEtcdRegistry即可配置基于 Etcd 的注册,同时,此服务作为服务提供者,通过server.WithRegistry(r)即可实现注册于 etcd。

此处的完整代码如下:

服务消费者

同样,消费者采用的 Hertz 框架进行,此处不再赘述:

但在请求生产者之前,都是需要进行服务的发现:这里基于 RPC:

代码语言:javascript复制
r, err := etcd.NewEtcdResolver([]string{constants.EtcdAddress})

c, err := noteservice.NewClient(
  constants.NoteServiceName,
  client.WithMiddleware(middleware.CommonMiddleware),
  client.WithInstanceMW(middleware.ClientMiddleware),
  client.WithMuxConnection(1),                       // mux
  client.WithRPCTimeout(3*time.Second),              // rpc timeout
  client.WithConnectTimeout(50*time.Millisecond),    // conn timeout
  client.WithFailureRetry(retry.NewFailurePolicy()), // retry
  client.WithSuite(trace.NewDefaultClientSuite()),   // tracer
  client.WithResolver(r),                            // resolver
 )
 if err != nil {
  panic(err)
 }
 noteClient = c

此时,我们在消费者端,新增请求生产者的客户端时,我们需要把请求对象constants.NoteServiceName告诉其客户端。

这样就实现了服务的发现,同时,服务发现后需要进行相关的接口调用,此处:

这些需要在 RPC 中实现,此处不再赘述,后续会加入基于 Kitex 的完整开发示例。

此时,一个完整的服务注册与发现就实现完毕了。此处基于 Etcd,接下来,基于 Nacos 就简单多了。

基于 Nacos 实现服务注册与发现

前面我们实现了基于 Etcd 的服务注册与发现,接下来,我们基于 Nacos 来实现,简单点,就是把所有基于 Etcd 的地方改成基于 Nacos:

代码语言:javascript复制
//r, err := etcd.NewEtcdResolver([]string{constants.EtcdAddress})
r1,err := resolver.NewDefaultNacosResolver()

但此处需要主要,Nacos 的函数不是以 nacos 进行命名,而是registry.NewDefaultNacosRegistry()resolver.NewDefaultNacosResolver()

最后,可以启动相关服务:

注册的服务:

测试

第一次访问时:

持续访问中:

在这次 Demo 中,我们引用了连接多路复用功能以及基于 Thrift 的 Frugal 功能,或基于 Protobuf 的增强插件 Fastpb,使得编解码的过程性能更优,从而使得速度更快、吞吐更大。

0 人点赞