最新 最热

【玩转 EdgeOne】深度探索并应用腾讯云边缘安全加速平台的缓存功能

腾讯云边缘安全加速平台 EdgeOne(Tencent cloud EdgeOne),基于腾讯边缘计算节点,提供了一体化的加速和安全解决方案。EdgeOne 服务不仅可以提供 DDoS 防护、Rate Limit、WEB 安全防护、API 安全防护等不同的安全防护服务,...

2023-10-26
1

一图理解Apollo配置中心,配置变更如何及时通知客户端的

1、Apollo客户端启动时,会启动异步线程,循环发起一个Http Long Polling请求到Config Service的notifications/v2接口(NotificationControllerV2),http请求超时默认90 秒(should be longer than server side's ......

2023-10-25
1

解锁 vLLM:大语言模型推理的速度与效率双提升

当我们进行微批处理(mini-batch)时,虽然能减少计算浪费并以更灵活的方式批处理请求,但由于GPU内存容量的限制(特别是存储 KV 缓存的空间),仍然限制了可以一起批处理的请求数量,这意味着服务系统的吞吐量受到内存的限制。具...

2023-10-25
0

Redis中的缓存雪崩、缓存击穿、缓存穿透问题

当我们提到缓存系统中的问题,缓存雪崩是一个经常被讨论的话题。缓存雪崩是指在某一时刻发生大量的缓存失效,导致瞬间大量的请求直接打到了数据库,可能会导致数据库瞬间压力过大甚至宕机。尤其在高并发的系统中,这种情况会...

2023-10-25
1

Mybatis的一级缓存与二级缓存

我们都知道缓存,缓存的作用也都是非常的明显,为了减轻数据库的压力,有些时候查询数据的时候,会把数据存入到缓存中,等接下来相同的请求查询数据时,直接从缓存中获取数据,不用再去访问数据库了,而合理使用缓存是优化中最常见的...

2023-10-25
1

LLM推理技术之StreamingLLM:如何拥有无限长生成能力

MIT,Meta AI,CMU的研究人员最近提出了一种StreamingLLM,声称可以使得经过有限序列长度训练的大型语言模型能够在无需任何微调的情况下,推广到无限序列长度的输入和输出。 不过这里值得强调的是,这个方法并没有增加LLM的对...

2023-10-25
1

途虎 面经,其实挺简单的!

缓存穿透是指一个查询请求,数据库中不存在该数据,缓存中也不存在,导致每次查询都会直接访问数据库,增加数据库负载。

2023-10-25
1

一道被难住的Spring面试题

实例化: Spring 根据 Bean 的配置信息创建一个实例。这个实例还没有进行属性注入和初始化。

2023-10-24
1

【面试题精讲】MySQL-查询缓存

查询缓存是一种数据库性能优化技术,它允许数据库系统缓存已经执行过的查询结果,以便在后续相同的查询请求中直接返回缓存的结果,而不必再次执行相同的查询。...

2023-10-24
0

CPU飙升怎么办?

解决这个问题的关键是要找到Java代码的位置。下面分享一下排查思路,以CentOS为例,总结为4步。

2023-10-24
1