最新 最热

MongoDB transport_layer网络传输层模块源码实现四

本文分析网络传输层模块中的最后一个子模块:service_executor服务运行子模块,即线程模型子模块。在阅读该文章前,请提前阅读下<<MongoDB网络传输处理源码实现及性能调优-体验内核性能极致设计>>、<<transport_layer网络...

2020-12-30
0

Improving GPU Utilization in Kubernetes

目前,Kubernetes通过Device Plugin和Extended Resource机制支持在集群中使用GPU等异构资源,但官方的实现限制了只能以独占的方式使用资源,即资源分配的最小粒度是一张卡。在深度学习领域模型推理等场景下,一个客观存在的...

2020-12-29
1

大数据基础:Spark工作原理及基础概念

导语 | Apache Spark 是专为大规模数据处理而设计的快速通用计算引擎,在数据挖掘和机器学习领域有着广泛的应用,现在也已形成一个高速发展、应用广泛的生态系统。本文将为大家详细介绍 Spark 的核心技术原理,希望与大家...

2020-12-23
0

[从源码学设计]蚂蚁金服SOFARegistry之时间轮的使用

在我们的业务系统和日常开发之中,定期任务是一个常见的需求。即也有普通需求,也有特殊业务需求。本文和下文就以 SOFARegistry 为例,看看阿里是如何实现定期任务的。这里会结合业务来进行讲解。...

2020-12-18
0

FreeRTOS源码探析之——任务调度相关

FreeRTOS可以运行多任务,在于其内核的任务调度功能,本篇介绍任务调度的基本思路与部分源码分析。

2020-12-16
0

深入分析 Java、Kotlin、Go 的线程和协程

Go 语言比 Java 语言性能优越的一个原因,就是轻量级线程Goroutines(协程Coroutine)。本篇文章深入分析下 Java 的线程和 Go 的协程。

2020-12-14
0

airflow 配置 CeleryExecutor

celery 是分布式任务队列,与调度工具 airflow 强强联合,可实现复杂的分布式任务调度,这就是 CeleryExecutor,有了 CeleryExecutor,你可以调度本地或远程机器上的作业,实现分布式任务调度。本文介绍如何配置 airflow 的 Cele...

2020-12-10
0

梁老师小课堂|谈谈分布式任务调度

我们常说的定时任务有两种架构,一种是本地定时任务调度,另外一种是分布式的。前者将任务参数硬编码在代码配置中,通常还和业务代码混合在一起,部署时通过环境变量来区分。后者通过控制台动态管理任务配置,不需要重启服务,就...

2020-12-08
0

深入浅出Spark(三):Spark调度系统之“权力的游戏”

专题介绍:2009 年,Spark 诞生于加州大学伯克利分校的 AMP 实验室(the Algorithms, Machines and People lab),并于 2010 年开源。2013 年,Spark 捐献给阿帕奇软件基金会(Apache Software Foundation),并于 2014 年成为 Ap......

2020-12-07
0

FreeRTOS源码探析之——软件定时器

软件定时器是FreeRTOS中的一个重要模块,使用软件定时器可以方便的实现一些与超时或周期性相关的功能,本篇从FreeRTOS的源码入手,来分析FreeRTOS软件定时器的运行机理。...

2020-12-02
0