最新 最热

【C】高并发线程池设计

高并发线程池设计并发基本概念 所谓并发编程指的是在同一台计算机上"同时"处理多个任务。并发是在同一实体上的多个事件。----处理事件过程出现阻塞 漫长的CPU密集型处理。读取文件,但文件尚未缓存,从硬盘中读取较为缓...

2023-05-13
1

记录一次高并发引起的生产事故的溯源记录

排查过程:数据库sql负载偏高,有接口直接查sql没有加缓存的,数据库瓶颈没办法,一个sql延迟几十毫秒,并发上来之后,就会把整体往后拖了

2023-05-12
1

场景

数据库一般采用Master-Slave复制模式的MySQL架构,只能够对数据库的读进行扩展,而对数据库的写入操作还是集中在Master上,并且单个Master挂载的Slave也不可能无限制多,Slave的数量受到Master能力和负载的限制。...

2023-05-12
1

高并发下hystrix熔断超时及concurrent.RejectedExecutionException: Rejected command because thread-pool queueSiz

我的一个项目并发200+,观察服务器的日志发现出现了大量的熔断超时偶尔会闪现出RejectedExecutionException: Rejected command because thread-pool queueSize is at rejection threshold。...

2023-05-12
5

浅浅分析下爬虫中IP池为什么越大越好

在日常爬虫工作中,工作任务通常较大需要获取的数据量大,因此使用分布式和多线程进行工作是必要的。特别是在应对反爬过程中对IP的需求就很高,不仅需要高质量的代理IP,更需要能支持高并发的。...

2023-05-10
1

python如何分布式和高并发爬取电商数据

随着互联网的发展和数据量的不断增加,网络爬虫已经成为了一项非常重要的工作。爬虫技术可以帮助人们自动地从互联网上获取大量数据,并且这些数据可以应用于各种领域,如搜索引擎、数据分析和预测等。然而,在实际应用中,我们...

2023-05-08
1

ConcurrentHashMap的使用介绍和底层原理解析和开源框架的使用实例

ConcurrentHashMap是JDK1.5提供的线程安全的HashMap,它允许多个线程并发访问哈希表,并发修改map中的数据而不会产生死锁。ConcurrentHashMap适用于高并发的环境下,可以替代synchronized实现的同步HashMap。Concurrent...

2023-05-05
2

分布式锁介绍及解决方案

在分布式系统中,多个节点可能同时操作同一资源,此时需要使用分布式锁来保护共享资源的访问。分布式锁要求在多个节点上都能起到保护作用,并且能够保证在高并发情况下的正确性和效率。...

2023-05-05
3

阿里一面:Spring Bean 默认是单例的,高并发情况下,如何保证并发安全?

Spring的bean默认都是单例的,某些情况下,单例是并发不安全的,以Controller举例,问题根源在于,我们可能会在Controller中定义成员变量,如此一来,多个请求来临,进入的都是同一个单例的Controller对象,并对此成员变量的值进行修改...

2023-05-01
1

C#中的分布式ID生成组件IDGen介绍并给出示例代码

C#中的IDGen是一个C#实现的Twitter Snowflake算法的ID生成器,可以生成全局唯一的ID,支持高并发场景下的ID生成。在本篇文章中,我们将介绍IDGen的使用方法并提供相关的C#示例代码。...

2023-04-28
1