图形与短信验证码多线程优化接口（第九/十/十一章）海量数据处理-商用短链

第九章架构核心技术-池化思想-异步结合性能优化最佳实践《上》

第1集接口压测和常用压力测试工具对比

简介：目前用的常用测试工具对比

LoadRunner
- 性能稳定，压测结果及细粒度大，可以自定义脚本进行压测，但是太过于重大，功能比较繁多
Apache AB(单接口压测最方便)
- 模拟多线程并发请求,ab命令对发出负载的计算机要求很低，既不会占用很多CPU，也不会占用太多的内存，但却会给目标服务器造成巨大的负载, 简单DDOS攻击等
Webbench
- webbench首先fork出多个子进程，每个子进程都循环做web访问测试。子进程把访问的结果通过pipe告诉父进程，父进程做最终的统计结果。
Jmeter (GUI )
- 开源免费，功能强大，在互联网公司普遍使用
- 压测不同的协议和应用
  - 1. Web - HTTP, HTTPS (Java, NodeJS, PHP, ASP.NET, …)
  - 1. SOAP / REST Webservices
  - 1. FTP
  - 1. Database via JDBC
  - 1. LDAP 轻量目录访问协议
  - 1. Message-oriented middleware (MOM) via JMS
  - 1. Mail - SMTP(S), POP3(S) and IMAP(S)
  - 1. TCP等等
- 使用场景及优点
  - 1）功能测试
  - 2）压力测试
  - 3）分布式压力测试
  - 4）纯java开发
  - 5）上手容易，高性能
  - 4）提供测试数据分析
  - 5）各种报表数据图形展示
压测工具本地快速安装Jmeter5.x
- 需要安装JDK8 以上
- 建议安装JDK环境，虽然JRE也可以，但是压测https需要JDK里面的 keytool工具
- 快速下载 https://jmeter.apache.org/download_jmeter.cgi
- 文档地址：http://jmeter.apache.org/usermanual/get-started.html

代码语言：javascript复制

bin:核心可执行文件，包含配置
        jmeter.bat: windows启动文件(window系统一定要配置显示文件拓展名)
        jmeter: mac或者linux启动文件
        jmeter-server：mac或者Liunx分布式压测使用的启动文件
        jmeter-server.bat：window分布式压测使用的启动文件
        jmeter.properties: 核心配置文件   
extras：插件拓展的包

lib:核心的依赖包

Jmeter语言版本中英文切换

控制台修改 menu -> options -> choose language

配置文件修改

bin目录 -> jmeter.properties
默认 #language=en
改为 language=zh_CN

第2集 Jmeter5.X基础功能组件介绍线程组和Sampler

简介：讲解Jmeter里面GUI菜单栏主要组件

添加->threads->线程组（控制总体并发）

代码语言：javascript复制

线程数：虚拟用户数。一个虚拟用户占用一个进程或线程

准备时长（Ramp-Up Period(in seconds)）：全部线程启动的时长，比如100个线程，20秒，则表示20秒内 100个线程都要启动完成，每秒启动5个线程

循环次数：每个线程发送的次数，假如值为5，100个线程，则会发送500次请求，可以勾选永远循环

线程组->添加-> Sampler(采样器) -> Http （一个线程组下面可以增加几个Sampler）

代码语言：javascript复制

名称：采样器名称
注释：对这个采样器的描述
web服务器：
  默认协议是http
  默认端口是80
  服务器名称或IP ：请求的目标服务器名称或IP地址

路径：服务器URL

查看测试结果

代码语言：javascript复制

线程组->添加->监听器->察看结果树
线程组->添加->监听器->聚合报告

常规压测流程

内网环境
非GUI下压测
停止其他无关资源进程
压测机和被压测机器隔离

第3集调用第三方服务组件改造 Jmeter5.x性能压测实践

简介：调用第三方服务组件改造 Jmeter5.x性能压测实践

埋点http请求得出请求响应耗时【粗略统计，非线上大量数据测试得出】
增加代码NotifyController、NotifyService
- test方法测试
压测参数配置
- 200并发
- 2秒启动
- 循环500次
同步发送 resttemplate未池化
- 错误：Connection timed out
- 400到500 qps

第4集高并发下异步请求解决方案- @Async注解应用实战

简介：高并发下异步请求解决方案一- @Async组件应用实战

问题
- 由于发送短信涉及到网络通信, 因此sendMessage方法可能会有一些延迟. 为了改善用户体验, 我们可以使用异步发送短信的方法
什么是异步任务
- 异步调用是相对于同步调用而言的，同步调用是指程序按预定顺序一步步执行，每一步必须等到上一步执行完后才能执行，异步调用则无需等待上一步程序执行完即可执行
- 多线程就是一种实现异步调用的方式
- MQ也是一种宏观上的异步
使用场景
- 适用于处理log、发送邮件、短信……等
- 涉及到网络IO调用等操作
使用方式
- 启动类里面使用@EnableAsync注解开启功能，自动扫描
- 定义异步任务类并使用@Component标记组件被容器扫描,异步方法加上@Async
注意：@Async失效情况
- 注解@Async的方法不是public方法
- 注解@Async的返回值只能为void或者Future
- 注解@Async方法使用static修饰也会失效
- spring无法扫描到异步类，没加注解@Async 或 @EnableAsync注解
- 调用方与被调方不能在同一个类
  - Spring 在扫描bean的时候会扫描方法上是否包含@Async注解，动态地生成一个子类（即proxy代理类），当这个有注解的方法被调用的时候，实际上是由代理类来调用的，代理类在调用时增加异步作用
  - 如果这个有注解的方法是被同一个类中的其他方法调用的，那么该方法的调用并没有通过代理类，而是直接通过原来的那个 bean，所以就失效了
  - 所以调用方与被调方不能在同一个类，主要是使用了动态代理，同一个类的时候直接调用，不是通过生成的动态代理类调用
  - 一般将要异步执行的方法单独抽取成一个类
- 类中需要使用@Autowired或@Resource等注解自动注入，不能自己手动new对象
- 在Async 方法上标注@Transactional是没用的，但在Async 方法调用的方法上标注@Transactional 是有效的
编码实践

代码语言：javascript复制

		//启动类增加 @EnableAsync
	
	  // @Override
    @Async
    public void testSend() {

//        try {
//            TimeUnit.MILLISECONDS.sleep(2000);
//        } catch (InterruptedException e) {
//            e.printStackTrace();
//        }

        long beginTime = CommonUtil.getCurrentTimestamp();
        ResponseEntity<String> forEntity = restTemplate.getForEntity("http://old.xdclass.net", String.class);
        String body = forEntity.getBody();
        long endTime = CommonUtil.getCurrentTimestamp();
        log.info("耗时={},body={}",endTime-beginTime,body);

    }

第5集异步调用-压测高QPS后的背后原因和问题拆解

简介：异步调用-压测高QPS后的背后原因和问题拆解

现象：压测后很快跑完全部内容，是因为都在线程池内部的阻塞队列里面
- 极容易出现OOM，或者消息丢失
- 默认8个核心线程数占用满了之后, 新的调用就会进入队列, 最大值是Integer.MAX_VALUE，表现为没有执行
  - task-XXX 日志里面会出现递增
- 设置下idea启动进程的jvm参数： -Xms50M -Xmx50M

代码位置
- TaskExecutionProperties
- TaskExecutionAutoConfiguration
说明：
- 直接使用 @Async 注解没指定线程池的话，即未设置TaskExecutor时
- 默认使用Spring创建ThreadPoolTaskExecutor
- 核心线程数：8
- 最大线程数：Integer.MAX_VALUE ( 21亿多)
- 队列使用LinkedBlockingQueue
- 容量是：Integer.MAX_VALUE
- 空闲线程保留时间：60s
- 线程池拒绝策略：AbortPolicy
如何解决上面说的问题？

第6集【底层原理】Async ThreadPoolTaskExecutor自定义线程池进阶实战

简介：高并发下异步请求 @Async ThreadPoolTaskExecutor自定义线程池实战

自定义线程池可以解决上述的问题

大家的疑惑使用线程池的时候搞混淆ThreadPoolTaskExecutor和ThreadPoolExecutor
- ThreadPoolExecutor，这个类是JDK中的线程池类，继承自Executor，里面有一个execute()方法，用来执行线程，线程池主要提供一个线程队列，队列中保存着所有等待状态的线程，避免了创建与销毁的额外开销
- ThreadPoolTaskExecutor，是spring包下的，是Spring为我们提供的线程池类
  - Spring异步线程池的接口类是TaskExecutor，本质还是java.util.concurrent.Executor
解决方式
- spring会先搜索TaskExecutor类型的bean或者名字为taskExecutor的Executor类型的bean,
- 所以我们最好来自定义一个线程池，加入Spring IOC容器里面，即可覆盖
自定义线程池

代码语言：javascript复制

@Configuration
@EnableAsync
public class ThreadPoolTaskConfig {

    @Bean("threadPoolTaskExecutor")
    public ThreadPoolTaskExecutor threadPoolTaskExecutor(){

        ThreadPoolTaskExecutor threadPoolTaskExecutor = new ThreadPoolTaskExecutor();
        //线程池创建的核心线程数，线程池维护线程的最少数量，即使没有任务需要执行，也会一直存活
        //如果设置allowCoreThreadTimeout=true（默认false）时，核心线程会超时关闭
        threadPoolTaskExecutor.setCorePoolSize(4);

			//最大线程池数量，当线程数>=corePoolSize，且任务队列已满时。线程池会创建新线程来处理任务
			//当线程数=maxPoolSize，且任务队列已满时，线程池会拒绝处理任务而抛出异常
				threadPoolTaskExecutor.setMaxPoolSize(8);

			//缓存队列（阻塞队列）当核心线程数达到最大时，新任务会放在队列中排队等待执行
				threadPoolTaskExecutor.setQueueCapacity(124);
			
      //当线程空闲时间达到keepAliveTime时，线程会退出，直到线程数量=corePoolSize
        //允许线程空闲时间60秒，当maxPoolSize的线程在空闲时间到达的时候销毁
        //如果allowCoreThreadTimeout=true，则会直到线程数量=0
        threadPoolTaskExecutor.setKeepAliveSeconds(30);
        
        //spring 提供的 ThreadPoolTaskExecutor 线程池，是有setThreadNamePrefix() 方法的。 
        //jdk 提供的ThreadPoolExecutor 线程池是没有 setThreadNamePrefix() 方法的
        threadPoolTaskExecutor.setThreadNamePrefix("小滴课堂Spring自带Async前缀：");
        threadPoolTaskExecutor.setWaitForTasksToCompleteOnShutdown(true);
        
        // rejection-policy：当pool已经达到max size的时候，如何处理新任务
        // CallerRunsPolicy()：交由调用方线程运行，比如 main 线程；如果添加到线程池失败，那么主线程会自己去执行该任务，不会等待线程池中的线程去执行
//AbortPolicy()：该策略是线程池的默认策略，如果线程池队列满了丢掉这个任务并且抛出RejectedExecutionException异常。
//DiscardPolicy()：如果线程池队列满了，会直接丢掉这个任务并且不会有任何异常
//DiscardOldestPolicy()：丢弃队列中最老的任务，队列满了，会将最早进入队列的任务删掉腾出空间，再尝试加入队列
        
        threadPoolTaskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        threadPoolTaskExecutor.initialize();
        return threadPoolTaskExecutor;
    }

}



//使用实战， 启动类可以不加@EnableAsync，改上面加
@Async("threadPoolTaskExecutor")

总结【方便记忆】
- 先是CorePoolSize是否满足，然后是Queue阻塞队列是否满，最后才是MaxPoolSize是否满足

第7集 ThreadPoolTaskExecutor线程池的面试题你知道怎么回答不

简介：ThreadPoolTaskExecutor线程池的面试题你知道怎么回答不

请你说下 ThreadPoolTaskExecutor线程池有哪几个重要参数，什么时候会创建线程
- 查看核心线程池是否已满，不满就创建一条线程执行任务，否则执行第二步。
- 查看阻塞队列是否已满，不满就将任务存储在阻塞队列中，否则执行第三步。
- 查看线程池是否已满，即是否达到最大线程池数，不满就创建一条线程执行任务，否则就按照策略处理无法执行的任务。
高并发下核心线程怎么设置？
- 分IO密集还是CPU密集
  - CPU密集设置为跟核心数一样大小
  - IO密集型设置为2倍CPU核心数
- 非固定，根据实际情况压测进行调整，俗称【调参程序员】【调参算法工程师】

第8集实践出真知-线程池多参数调整-性能压测现象对比分析

简介：实践出真知-线程池多参数调整-现象报告对比分析

异步发送 resttemplate未池化

线程池参数

代码语言：javascript复制

threadPoolTaskExecutor.setCorePoolSize(4);
threadPoolTaskExecutor.setMaxPoolSize(16);
threadPoolTaskExecutor.setQueueCapacity(32);

qps少，等待队列小

异步发送 resttemplate未池化

线程池参数

代码语言：javascript复制

threadPoolTaskExecutor.setCorePoolSize(32);
threadPoolTaskExecutor.setMaxPoolSize(64);
threadPoolTaskExecutor.setQueueCapacity(10000);
//如果等待队列长度为10万，则qps瞬间很高8k ,可能oom

qps，等待队列大(瞬间高)

问题

采用异步发送用户体验变好了，但是存在丢失的可能，阻塞队列存储内存中，如果队列长度过多则重启容易出现丢失数据情况
采用了异步发送了阻塞队列存缓冲，刚开始瞬间QPS高，但是后续也降低很多
问题是在哪里？消费方角度，提高消费能力

第十章架构核心技术-池化思想-异步结合性能优化最佳实践《下》

第1集 RestTemplate里面的存在的问题你知道多少- Broken pipe错误

简介： RestTemplate里面的存在的问题你知道多少

还原代码（暂时不用异步）
- 异步-里面是用线程池-是池化思想的一种应用
同步发送 resttemplate未池化
- 压测结果几百吞吐量
- 错误Caused by: java.io.IOException: Broken pipe
  - 服务端向前端socket连接管道写返回数据时链接（pipe）却断开了
  - 从应用角度分析，这是因为客户端等待返回超时了，主动断开了与服务端链接
  - 连接数设置太小，并发量增加后，造成大量请求排队等待
  - 网络延迟，是否有丢包
  - 内存是否足够多支持对应的并发量
问题分析
- resttemplate底层是怎样的？
- 基于之前的认知-池化思想，联想到是否使用了http连接池？
重新认识RestTemplate
- RestTemplate是Spring提供的用于访问Rest服务的客户端
- 底层通过使用java.net包下的实现创建HTTP 请求
- 通过使用ClientHttpRequestFactory指定不同的HTTP请求方式，主要提供了两种实现方式
  - SimpleClientHttpRequestFactory（默认）
    - 底层使用J2SE提供的方式，既java.net包提供的方式，创建底层的Http请求连接
    - 主要createRequest 方法（断点调试），每次都会创建一个新的连接，每次都创建连接会造成极大的资源浪费，而且若连接不能及时释放，会因为无法建立新的连接导致后面的请求阻塞
  - HttpComponentsClientHttpRequestFactory
    - 底层使用HttpClient访问远程的Http服务
问题解决
- 客户端每次请求都要和服务端建立新的连接，即三次握手将会非常耗时
- 通过http连接池可以减少连接建立与释放的时间，提升http请求的性能
- Spring的restTemplate是对httpclient进行了封装, 而httpclient是支持池化机制
- 拓展
  - 对httpclient进行封装的有：Apache的Fluent、es的restHighLevelClient、spring的restTemplate等

第2集高性能RestTemplate连接池封装配置实战

简介：高性能RestTemplate封装配置实战

配置RestTemplate连接池实战

代码语言：javascript复制

  @Bean
    public RestTemplate restTemplate(ClientHttpRequestFactory factory) {
        return new RestTemplate(factory);
    }

    @Bean
    public ClientHttpRequestFactory httpRequestFactory() {
        return new HttpComponentsClientHttpRequestFactory(httpClient());
    }


    /**
     * @return
     */
    @Bean
    public HttpClient httpClient() {
        Registry<ConnectionSocketFactory> registry = RegistryBuilder.<ConnectionSocketFactory>create()
                .register("http", PlainConnectionSocketFactory.getSocketFactory())
                .register("https", SSLConnectionSocketFactory.getSocketFactory())
                .build();

        PoolingHttpClientConnectionManager connectionManager = new PoolingHttpClientConnectionManager(registry);

        //设置整个连接池最大连接数
        connectionManager.setMaxTotal(500);

        //MaxPerRoute路由是对maxTotal的细分,每个主机的并发，这里route指的是域名
        connectionManager.setDefaultMaxPerRoute(200);
        RequestConfig requestConfig = RequestConfig.custom()
                //返回数据的超时时间
                .setSocketTimeout(20000)
                //连接上服务器的超时时间
                .setConnectTimeout(10000)

                //从连接池中获取连接的超时时间
                .setConnectionRequestTimeout(1000)
                .build();

        return HttpClientBuilder.create()
                .setDefaultRequestConfig(requestConfig)
                .setConnectionManager(connectionManager)
                .build();
    }

第3集【10倍 QPS提升】Jmeter5.x压测优化后RestTemplate前后性能对比

简介：【10倍提升】Jmeter5.x压测优化后RestTemplate前后性能对比

同步发送 resttemplate未池化
- 压测结果几百吞吐量
同步发送 resttemplate池化
- 压测结果
检查你自己公司的项目，是否存在对应的问题

这些都是面试跳槽里面-项目的亮点
- 发现问题
- 找出原因
- 解决问题

第十一章账号微服务-发送短信验证码-池化异步结合最佳实践

第1集调用第三方短信验证码组件性能优化实战

简介：调用第三方短信验证码组件性能优化实战

调整代码
采用异步调用方式
采用 resttemplate池化方式
对比第一个高并发项目大课
- 海量数据项目大课更加偏底层性能优化
- 两个大课有部分接口是重复的，但是虽然是同个接口-大家可以压测对比下两个接口的性能

第2集说说小滴课堂之前的被薅羊毛的事情防范解决方案

简介: 说说小滴课堂前不久的被薅羊毛的事情防范解决方案

请大家先看一个自动化脚本技术视频

第2分35秒：https://xdclass.net/#/dplayer?video_id=16&e_id=1000
延伸
- 抢票
- 稀缺的酒、鞋等

短信邮箱轰炸机

什么是短信-邮箱轰炸机：

代码语言：javascript复制

手机短信轰炸机是批量、循环给手机无限发送各种网站的注册验证码短信的方法。

美好的初衷-发明的由来

代码语言：javascript复制

最早发明是用来整治街头广告电话号泛滥的一种手段，采用“手机短信轰炸机”软件可无限发送垃圾短信到牛皮癣小广告的手机号码上，使对方的手机快速消耗电量，变成高频率振动棒，且无法正常使用。

“短信轰炸机”可严厉打击城市“牛皮癣”，还城市明净容颜。

灰色产业的目光-也就是部分不法分子利用

代码语言：javascript复制

某次大型程序员相亲现场-老王得罪了小王， 小王不爽，就道听途说知道了”短信轰炸机“，1天50元，轰炸了5天还打折300元。

一天内接到来自全国各地数千个陌生电话短信的轰炸骚扰，导致个人通讯中断，被工作生活受到严重影响，连刚相亲到的女友没没法联系上了。

原理

代码语言：javascript复制

很多人都用手机注册一些网站的验证了，比如手机验证码。先填手机号，然后发一条验证码过去，输入验证码，完成验证，注册成功。

* 寻找大量肉鸡网站，寻找发送验证码的请求接口

* 如果找不到接口，也可以使用自动化UI工具触发

* 编写程序和调度任务，相关脚本录入数据库

* 输入目标手机号或者邮箱，触发攻击

公司带来的损失

短信一条5分钱，如果被大量盗刷大家自己计算
邮箱通知不用钱，但被大量盗刷，带宽、连接等都被占用，导致无法正常使用

如何避免自己的网站成为”肉鸡“或者被刷呢

增加图形验证码（开发人员）
单IP请求次数限制（开发人员）
限制号码发送（一般短信提供商会做）

是否可以一劳永逸？？？

没有百分百的安全，验证码是可以破解的，ip也是可以租用代理ip的
攻防永远是有的，只过加大了攻击者的成本，ROI划不过来自然就放弃了

小滴课堂注册页面-短信验证码没加防范,被刷了，也不知道意图如何，反正就亏了几万块吧

第3集图形验证码开发之谷歌kaptcha引入

简介：谷歌开源kaptcha图形验证码开发

Kaptcha 框架介绍谷歌开源的一个可高度配置的实用验证码生成工具
- 验证码的字体/大小/颜色
- 验证码内容的范围(数字，字母，中文汉字！)
- 验证码图片的大小，边框，边框粗细，边框颜色
- 验证码的干扰线
- 验证码的样式(鱼眼样式、3D、普通模糊)
聚合工程依赖添加（使用国内baomidou二次封装的springboot整合starter）

代码语言：javascript复制

            <!--kaptcha依赖包-->
            <dependency>
                <groupId>com.baomidou</groupId>
                <artifactId>kaptcha-spring-boot-starter</artifactId>
                <version>1.1.0</version>
            </dependency>

账号微服务添加

代码语言：javascript复制

            <dependency>
                <groupId>com.baomidou</groupId>
                <artifactId>kaptcha-spring-boot-starter</artifactId>
            </dependency>

开发配置（任何框架和springboot整合基本都是）

代码语言：javascript复制

@Configuration
public class CaptchaConfig {

    /**
     * 验证码配置
     * Kaptcha配置类名
     * 
     * @return
     */
    @Bean
    @Qualifier("captchaProducer")
    public DefaultKaptcha kaptcha() {
        DefaultKaptcha kaptcha = new DefaultKaptcha();
        Properties properties = new Properties();
//    properties.setProperty(Constants.KAPTCHA_BORDER, "yes");
//    properties.setProperty(Constants.KAPTCHA_BORDER_COLOR, "220,220,220");
//    //properties.setProperty(Constants.KAPTCHA_TEXTPRODUCER_FONT_COLOR, "38,29,12");
//    properties.setProperty(Constants.KAPTCHA_IMAGE_WIDTH, "147");
//    properties.setProperty(Constants.KAPTCHA_IMAGE_HEIGHT, "34");
//    properties.setProperty(Constants.KAPTCHA_TEXTPRODUCER_FONT_SIZE, "25");
//    //properties.setProperty(Constants.KAPTCHA_SESSION_KEY, "code");
        //验证码个数
        properties.setProperty(Constants.KAPTCHA_TEXTPRODUCER_CHAR_LENGTH, "4");
//    properties.setProperty(Constants.KAPTCHA_TEXTPRODUCER_FONT_NAMES, "Courier");
        //字体间隔
        properties.setProperty(Constants.KAPTCHA_TEXTPRODUCER_CHAR_SPACE,"8");
        //干扰线颜色
//    properties.setProperty(Constants.KAPTCHA_NOISE_COLOR, "white");
        //干扰实现类
        properties.setProperty(Constants.KAPTCHA_NOISE_IMPL, "com.google.code.kaptcha.impl.NoNoise");
        //图片样式
        properties.setProperty(Constants.KAPTCHA_OBSCURIFICATOR_IMPL, "com.google.code.kaptcha.impl.WaterRipple");
        //文字来源
        properties.setProperty(Constants.KAPTCHA_TEXTPRODUCER_CHAR_STRING, "0123456789");
        Config config = new Config(properties);
        kaptcha.setConfig(config);
        return kaptcha;
    }
}

开发一个Controller使用测试

第4集池化思想应用-Redis6.X配置连接池实战

简介：池化思想应用-Redis6.X配置连接池实战

连接池好处

使用连接池不用每次都走三次握手、每次都关闭Jedis
相对于直连，使用相对麻烦，在资源管理上需要很多参数来保证，规划不合理也会出现问题
如果pool已经分配了maxActive个jedis实例，则此时pool的状态就成exhausted了

连接池配置 common项目

代码语言：javascript复制

 <!--redis客户端-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-redis</artifactId>
            <exclusions>
                <exclusion>
                    <groupId>io.lettuce</groupId>
                    <artifactId>lettuce-core</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
        </dependency>

        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-pool2</artifactId>
        </dependency>

配置Redis连接

代码语言：javascript复制

  redis:
    client-type: jedis
    host: 120.79.150.146
    password: xdclass.net
    port: 6379
    jedis:
      pool:
        # 连接池最大连接数（使用负值表示没有限制）
        max-active: 100
        # 连接池中的最大空闲连接
        max-idle: 100
        # 连接池中的最小空闲连接
        min-idle: 100
        # 连接池最大阻塞等待时间（使用负值表示没有限制）
        max-wait: 60000

序列化配置

代码语言：javascript复制

@Configuration
public class RedisTemplateConfiguration {
    /**
     * @param redisConnectionFactory
     * @return
     */
    @Bean
    public RedisTemplate<Object, Object> redisTemplate(RedisConnectionFactory redisConnectionFactory) {
        RedisTemplate<Object, Object> redisTemplate = new RedisTemplate<>();
        redisTemplate.setConnectionFactory(redisConnectionFactory);
        // 使用Jackson2JsonRedisSerialize 替换默认序列化
        Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
        ObjectMapper objectMapper = new ObjectMapper();
        objectMapper.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
        jackson2JsonRedisSerializer.setObjectMapper(objectMapper);
        // 设置key和value的序列化规则
        redisTemplate.setKeySerializer(new StringRedisSerializer());
        redisTemplate.setValueSerializer(jackson2JsonRedisSerializer);
        // 设置hashKey和hashValue的序列化规则
        redisTemplate.setHashKeySerializer(new StringRedisSerializer());
        redisTemplate.setHashValueSerializer(jackson2JsonRedisSerializer);
        return redisTemplate;
    }
}

第5集账号微服务开发图形验证码加入缓存 Try-with-resource知识巩固

简介：账号微服务开发图形验证码接口 Try-with-resource知识巩固

redis做隔离, 多集群：核心集群和非核心集群，高并发集群和非高并发集群
- 资源隔离
- 数据保护
- 提高性能
- key规范：业务划分，冒号隔离
  - account-service:captcha:xxxx
  - 长度不能过长
验证码接口开发

代码语言：javascript复制

/**
     *临时使用10分钟有效，方便测试
     */
    private static final long CAPTCHA_CODE_EXPIRED = 60 * 1000 * 10;

    /**
     * 获取图形验证码
     * @param request
     * @param response
     */
    @GetMapping("captcha")
    public void getCaptcha(HttpServletRequest request, HttpServletResponse response) {

        String captchaText = captchaProducer.createText();
        log.info("图形验证码:{}", captchaText);

        //存储
        redisTemplate.opsForValue().set(getCaptchaKey(request),
                captchaText, CAPTCHA_CODE_EXPIRED, TimeUnit.MILLISECONDS);

        BufferedImage bufferedImage = captchaProducer.createImage(captchaText);
        try (ServletOutputStream outputStream = response.getOutputStream()){
            ImageIO.write(bufferedImage, "jpg", outputStream);
            outputStream.flush();
        } catch (IOException e) {
            log.error("获取图形验证码异常:{}", e);
        }

    }

什么是try-with-resources
- 资源的关闭很多⼈停留在旧的流程上，jdk7新特性就有, 但是很多⼈以为是jdk8的
- 在try( …)⾥声明的资源，会在try-catch代码块结束后⾃动关闭掉
- 注意点
  - 实现了AutoCloseable接⼝的类，在try()⾥声明该类实例的时候，try结束后⾃动调⽤的 close⽅法，这个动作会早于finally⾥调⽤的⽅法
  - 不管是否出现异常，try()⾥的实例都会被调⽤close⽅法
  - try⾥⾯可以声明多个⾃动关闭的对象，越早声明的对象，会越晚被close掉

第6集账号微服务之注册短信验证码接口开发

简介：注册短信验证码接口开发

接口开发

代码语言：javascript复制

service层

代码语言：javascript复制

  @Override
    public JsonData sendCode(SendCodeEnum sendCodeType, String to) {
      
        if(CheckUtil.isEmail(to)){
            //邮箱验证码
           

        }else if(CheckUtil.isPhone(to)){
            //短信验证码
        }

        return JsonData.buildResult(BizCodeEnum.CODE_TO_ERROR);
    }

邮箱工具类正则

代码语言：javascript复制

public class CheckUtil {


    /**
     * 邮箱正则
     */
    private static final Pattern MAIL_PATTERN = Pattern.compile("^([a-z0-9A-Z] [-|\.]?) [a-z0-9A-Z]@([a-z0-9A-Z] (-[a-z0-9A-Z] )?\.) [a-zA-Z]{2,}$");

    /**
     * 手机号正则
     */
    private static final Pattern PHONE_PATTERN = Pattern.compile("^((13[0-9])|(14[0-9])|(15[0-9])|(17[0-9])|(18[0-9]))\d{8}$");

    /**
     * @param email
     * @return
     */
    public static  boolean isEmail(String email) {
        if (null == email || "".equals(email)) {
            return false;
        }
        Matcher m = MAIL_PATTERN.matcher(email);
        return m.matches();
    }

    /**
     * 
     * @param phone
     * @return
     */
    public static boolean isPhone(String phone) {
        if (null == phone || "".equals(phone)) {
            return false;
        }
        Matcher m = PHONE_PATTERN.matcher(phone);
        boolean result = m.matches();
        return result;

    }
}

第7集关于注册短信验证码防刷设计方案你能想到几个

简介：注册短信验证码防刷方案你能想到几个

需求：一定时间内禁止重复发送短信,大家想下有哪几种实现方式

两个时间要求
- 60秒后才可以重新发送短信验证码
- 发送的短信验证码10分钟内有效

方式一：前端增加校验倒计时，不到60秒按钮不给点击

简单

不安全，存在绕过的情况

方式二：增加Redis存储，发送的时候设置下额外的key，并且60秒后过期

非原子操作，存在不一致性

增加的额外的key - value存储，浪费空间

代码语言：javascript复制

/**
 * 前置：判断是否重复发送
 *
 * 1、存储验证码到缓存
 *
 * 2、发送短信验证码
 *
 * 后置：存储发送记录
 **/

方式三：基于原先的key拼装时间戳

好处：满足了当前节点内的原子性，也满足业务需求

第8集【重要】注册邮箱验证码防刷代码落地整体测试

简介：注册邮箱验证码防刷落地和整体测试

代码语言：javascript复制

    @Override
    public JsonData sendCode(SendCodeEnum sendCodeEnum, String to) {

        String cacheKey = String.format(RedisKey.CHECK_CODE_KEY,sendCodeEnum.name(),to);

        String cacheValue = redisTemplate.opsForValue().get(cacheKey);

        //如果不为空，再判断是否是60秒内重复发送 0122_232131321314132
        if(StringUtils.isNotBlank(cacheValue)){
            long ttl = Long.parseLong(cacheKey.split("_")[1]);
            //当前时间戳-验证码发送的时间戳，如果小于60秒，则不给重复发送
            long leftTime = CommonUtil.getCurrentTimestamp() - ttl;
            if( leftTime < (1000*60)){
                log.info("重复发送短信验证码，时间间隔:{}秒",leftTime);
                return JsonData.buildResult(BizCodeEnum.CODE_LIMITED);
            }
        }

        String code = CommonUtil.getRandomCode(6);
        //生成拼接好验证码
        String value = code "_" CommonUtil.getCurrentTimestamp();
        redisTemplate.opsForValue().set(cacheKey,value,CODE_EXPIRED,TimeUnit.MILLISECONDS);

        if(CheckUtil.isEmail(to)){
            //发送邮箱验证码  TODO

        }else if(CheckUtil.isPhone(to)){

            //发送手机验证码
            smsComponent.send(to,smsConfig.getTemplateId(),code);
        }
        return JsonData.buildSuccess();
    }

整体测试和总结

编程算法 javascript node.js 验证码短信

0 人点赞

图形与短信验证码多线程优化接口（第九/十/十一章）海量数据处理-商用短链

第九章 架构核心技术-池化思想-异步结合 性能优化最佳实践《上》

第1集 接口压测和常用压力测试工具对比

第2集 Jmeter5.X基础功能组件介绍 线程组和Sampler

第3集 调用第三方服务组件改造 Jmeter5.x性能压测实践

第4集 高并发下异步请求解决方案- @Async注解应用实战

第5集 异步调用-压测高QPS后的背后原因和问题拆解

第6集 【底层原理】Async ThreadPoolTaskExecutor自定义线程池进阶实战

第7集 ThreadPoolTaskExecutor线程池的面试题你知道怎么回答不

第8集 实践出真知-线程池多参数调整-性能压测 现象对比分析

第十章 架构核心技术-池化思想-异步结合 性能优化最佳实践《下》

第1集 RestTemplate里面的存在的问题你知道多少- Broken pipe错误

第2集 高性能RestTemplate连接池封装配置实战

第3集 【10倍 QPS提升】Jmeter5.x压测 优化后RestTemplate前后性能对比

第十一章 账号微服务-发送短信验证码-池化 异步结合最佳实践

第1集 调用第三方短信验证码组件性能优化实战

第2集 说说小滴课堂之前的被薅羊毛的事情 防范解决方案

第3集 图形验证码开发之谷歌kaptcha引入

第4集 池化思想应用-Redis6.X配置连接池实战

第5集 账号微服务开发图形验证码加入缓存 Try-with-resource知识巩固

第6集 账号微服务之注册短信验证码接口开发

第7集 关于注册短信验证码防刷设计方案你能想到几个

第8集 【重要】注册邮箱验证码防刷代码落地 整体测试

第九章架构核心技术-池化思想-异步结合性能优化最佳实践《上》

第1集接口压测和常用压力测试工具对比

第2集 Jmeter5.X基础功能组件介绍线程组和Sampler

第3集调用第三方服务组件改造 Jmeter5.x性能压测实践

第4集高并发下异步请求解决方案- @Async注解应用实战

第5集异步调用-压测高QPS后的背后原因和问题拆解

第6集【底层原理】Async ThreadPoolTaskExecutor自定义线程池进阶实战

第8集实践出真知-线程池多参数调整-性能压测现象对比分析

第十章架构核心技术-池化思想-异步结合性能优化最佳实践《下》

第2集高性能RestTemplate连接池封装配置实战

第3集【10倍 QPS提升】Jmeter5.x压测优化后RestTemplate前后性能对比

第十一章账号微服务-发送短信验证码-池化异步结合最佳实践

第1集调用第三方短信验证码组件性能优化实战

第2集说说小滴课堂之前的被薅羊毛的事情防范解决方案

第3集图形验证码开发之谷歌kaptcha引入

第4集池化思想应用-Redis6.X配置连接池实战

第5集账号微服务开发图形验证码加入缓存 Try-with-resource知识巩固

第6集账号微服务之注册短信验证码接口开发

第7集关于注册短信验证码防刷设计方案你能想到几个

第8集【重要】注册邮箱验证码防刷代码落地整体测试