基础知识
分布式基础理论
什么是分布式系统
分布式系统是若干个独立计算机的组合,这些计算机相对于用户就像单个相关系统 发展演变
- 单一应用架构 当网站流量很小时,只需一个应用,将所有功能都部署在一起,以减少部署节点和成本。此时,用于简化增删改查工作量的 数据访问框架(ORM) 是关键。
- 垂直应用架构 当访问量逐渐增大,单一应用增加机器带来的加速度越来越小,将应用拆成互不相干的几个应用,以提升效率。此时,用于加速前端页面开发的 Web框架(MVC) 是关键。
- 分布式服务架构 当垂直应用越来越多,应用之间交互不可避免,将核心业务抽取出来,作为独立的服务,逐渐形成稳定的服务中心,使前端应用能更快速的响应多变的市场需求。此时,用于提高业务复用及整合的 分布式服务框架(RPC) 是关键。
- 流动计算架构 > 当服务越来越多,容量的评估,小服务资源的浪费等问题逐渐显现,此时需增加一个调度中心基于访问压力实时管理集群容量,提高集群利用率。此时,用于提高机器利用率的 资源调度和治理中心(SOA) 是关键。
RPC
- RPC原理 > // Client端 > Student student = Call(ServerAddr, addAge, student) > 1.将这个调用映射为Call ID。 > 2.将Call ID,student(params)序列化,以二进制形式打包 > 3.把2中得到的数据包发送给ServerAddr,这需要使用网络传输层 > 4.等待服务器返回结果 > 5.如果服务器调用成功,那么就将结果反序列化,并赋给student,年龄更新
// Server端
- 在本地维护一个Call ID到函数指针的映射callidmap,可以用Map callIdMap
- 等待服务端请求
- 得到一个请求后,将其数据包反序列化,得到Call ID
- 通过在callIdMap中查找,得到相应的函数指针
- 将student(params)反序列化后,在本地调用addAge()函数,得到结果
- 将student结果序列化后通过网络返回给Client
dubbo核心概念
特性
- 面向接口代理的高性能RPC调用
- 服务自动注册与发现
- 运行灰度发布
- 高度可扩展能力
- 可视化的服务治理与运维
环境搭建
Zookeeper注册中心
下载地址 链接:https://pan.baidu.com/s/1jSiSSOS4g21SRFW-UBVy3w
提取码:plee
管理控制台
- 下载dubbo admin 地址:链接:https://pan.baidu.com/s/1q-O-KJyzjs7dx1npLCMllg 提取码:911t 复制这段内容后打开百度网盘手机App,操作更方便哦
- 进入到dubbo admin下 执行 mvn clean package 打成jar包
- java -jar xx.jar 运行jar包
- 地址栏输入 http://localhost:8080,用户名:密码 root:root
- 可以看到服务治理中心界面了
springboot集成 dubbo
创建maven模块,封装公用接口,这里只有一个接口
代码语言:javascript复制public interface UserService {
public String getUser(String userName);
}
创建服务提供者
maven依赖
代码语言:javascript复制<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<!--上面封装的公用包-->
<dependency>
<groupId>com.yangle</groupId>
<artifactId>common</artifactId>
<version>1.0-SNAPSHOT</version>
</dependency>
<dependency>
<groupId>org.apache.dubbo</groupId>
<artifactId>dubbo-spring-boot-starter</artifactId>
<version>${dubbo.version}</version>
</dependency>
<!-- 使用zk 做注册中心,Dubbo 需要的依赖 -->
<dependency>
<groupId>org.apache.dubbo</groupId>
<artifactId>dubbo-dependencies-zookeeper</artifactId>
<version>${dubbo.version}</version>
<type>pom</type>
<exclusions>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</exclusion>
</exclusions>
</dependency>
配置文件
代码语言:javascript复制dubbo.application.name=provider-service
dubbo.registry.address=zookeeper://127.0.0.1:2181
dubbo.registry.protocol=zookeeper
dubbo.protocol.name=dubbo
dubbo.protocol.port=20880
server.port=8083
启动类添加开启dubbo注解@EnableDubbo
代码语言:javascript复制@EnableDubbo
@SpringBootApplication
public class ProviderApplication {
public static void main(String[] args) {
SpringApplication.run(ProviderApplication.class, args);
}
}
创建服务实现类
代码语言:javascript复制@Service //这里的service注意不是spring提供的,而是dubbo的service注解
@Component
public class UserServiceImpl implements UserService {
@Override
public String getUser(String userName) {
return String.format("欢迎你:%s", userName);
}
}
创建服务消费者
maven依赖和上面一样
代码语言:javascript复制<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>com.yangle</groupId>
<artifactId>common</artifactId>
<version>1.0-SNAPSHOT</version>
</dependency>
<dependency>
<groupId>org.apache.dubbo</groupId>
<artifactId>dubbo-spring-boot-starter</artifactId>
<version>${dubbo.version}</version>
</dependency>
<!-- 使用zk 做注册中心,Dubbo 需要的依赖 -->
<dependency>
<groupId>org.apache.dubbo</groupId>
<artifactId>dubbo-dependencies-zookeeper</artifactId>
<version>${dubbo.version}</version>
<type>pom</type>
<exclusions>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</exclusion>
</exclusions>
</dependency>
配置文件,这里不要配置什么协议,只需要连接到注册中心
代码语言:javascript复制server.port=8082
dubbo.application.name=consumer-service
dubbo.registry.address=zookeeper://127.0.0.1:2181
启动类添加配置
代码语言:javascript复制@EnableDubbo //dubbo注解
@SpringBootApplication
public class ConsumerApplication {
public static void main(String[] args) {
SpringApplication.run(ConsumerApplication.class, args);
}
}
写一个controller,调用dubbo服务
代码语言:javascript复制@RestController
public class HomeRestController {
@Reference //使用dubbo的reference注解引入dubbo服务
private UserService userService;
@RequestMapping("/{userName}")
public String getUser(@PathVariable String userName){
return userService.getUser(userName);
}
}
最后启动两个项目,可以进行测试....
Dubbo配置
启动时检查
代码语言:javascript复制dubbo.consumer.check = false
<!--消费者启动时不检查服务提供者是否存在-->
dubbo.registry.check=false
<!--注册中心启动时是否检查-->
超时&配置覆盖关系
代码语言:javascript复制<!--服务注解配置-->
@Reference(timeout = 1000)
<!--消费者全局配置-->
dubbo.consumer.timeout=5000
重试次数
代码语言:javascript复制<!--不包括第一次调用-->
<!--全局配置-->
dubbo.consumer.retries=3
dubbo.provider.retries=3
<!--服务级别配置-->
@Reference(timeout = 5000,retries = 3)
private UserService userService;
多版本
代码语言:javascript复制<!--服务提供方-->
@Service(version = "1")
<!--服务消费方-->
<!--version 为* 代表随机调用任何一个服务提供者-->
@Reference(timeout = 5000,retries = 3,version = "1")
private UserService userService;
本地存根
作用
代码语言:javascript复制在调用之前本地做校验,校验通过之后再调用远程服务 使用方法
<!--消费方的注解上添加存根的全类名-->
@Reference(timeout = 5000,retries = 3,version = "1",stub = "com.yangle.consumer.UserServieStub")
private UserService userService;
<!--存根需要继承服务接口,并且提供服务有参构造器-->
public class UserServieStub implements UserService {
private UserService userService;
public UserServieStub(UserService userService) {
this.userService = userService;
}
@Override
public String getUser(String userName) {
System.out.println("进入存根");
return userService.getUser(userName);
}
}
Dubbo高可用
Zookeeper宕机
- 注册中心宕机后,服务提供者和服务消费者仍能通过本地缓存通讯
dubbo直连
代码语言:javascript复制消费者上面加上注解 添加dubbo服务的url
@Reference(url = "127.0.0.1:20882")
负载均衡机制
- Random LoadBalance
- 基于权重随机负载均衡机制
- RoundRobin LoadBalance
- 基于权重的轮询负载均衡机制
- LeastActive LoadBalance
- 最少活跃数负载均衡机制
- ConsistentHash LoadBalance
- 一致性hash负载均衡机制
使用方式
代码语言:javascript复制@Reference(loadbalance = "负载均衡机制名称")
private UserService userService;
@Service(loadbalance = "负载均衡机制名称")
<!--名称可以为 consistenthash、leastactive、roundrobin、random-->
服务降级
- 在福安里就可以操作,有两种方式1.直接屏蔽,2,容错,调用失败返回为空
集群容错模式
- Failover Cluster
- 失败自动切换,失败进行重试,retries
- FailFast Cluster
- 快速失败,失败一次立即报错,用于非幂等性操作,
- Failsafe Cluster
- 失败安全,出现异常时,直接忽略,通常用于写入审计日志
- Failback Cluster
- 失败自动恢复,后台定时重发
- Forking Cluster
- 并行调用多个服务器,只要一个成功立即返回,通常用于实时性要求高的读操作,可通过forks=2来设置并行个数
- Broadcast Cluster
- 广播所有提供者,逐个调用,任意一台报错即失败,通常用于通知所有提供者更新缓存
配置方式
- 在配置文件中配置(消费者和提供者)
dubbo.consumer.cluster=
dubbo.provider.cluster=
- 在注解上配置
@Service(cluster = "")
@Reference(cluster = "")
private UserService userService;
Dubbo原理
RPC原理
- 服务消费方(client)调用以本地调用方式调用服务
- client stub接收到调用后负责将方法、参数等组成能够进行网络传输的消息实体
- client stub找到服务地址,并将消息发送到服务端
- server stub收到消息后进行解码
- server stub根据解码结果调用本地服务
- 本地服务执行并将结果返回给server stub
- server stub将返回结果打包成消息发送给消费方
- client stub接收到消息,并进行解码
- 服务消费方得到最终结果
Netty原理
- Netty原理
Dubbo原理
- Dubbo原理