状态模式概念状态模式允许对象在内部状态改变时，改变它的行为。对象好像看起来修改了它的类。这个模式将状态封装成了独立的类，并将动作委托到当前状态的对象。状态模式用类代表不同的状态Context...

今天要读一篇 Amy Greenwald 的论文《Correlated-Q Learning》，先记一下论文中的基础概念，然后再去深入解读。

目前单细胞转录组领域用的比较多的细胞聚类方法大多是直接从基因表达矩阵推断，但是对于多样本合并分析，很多情况下会出现难以解决的批次效应，例如：...

前言什么是Autosleep? 字面理解就是"没有事情干的时候睡觉"。而起初autosleep是在Android上的一个patch(https://lwn.net/Articles/479711

它是强化学习中的一种 values-based 算法，最终是会学习出一个表格 Q-Table，例如在一个游戏中有下面5种状态和4种行为，则表格为：

Q-learning 是要让 agent 通过不断地玩游戏，从环境给予的奖励反馈中学习到给定state下的最优 action。

在gym里有个自动驾驶的模拟器，它的任务是把乘客从一个地方接起，在另一个地方放下，在这个过程中 需要小车至少遵守下面三个规则：

通过前面的几篇文章可以知道，当我们要用 Q-learning 解决一个问题时，首先需要知道这个问题有多少个 state，每个 state 有多少 action，并且建立一个奖励表格 P，维度是 action * 4，这4列分别标记着采取每个 action 的概率，采取...

上一篇文章有介绍gym里面env的基本用法，下面几行可以打印出一个当前环境的可视化：

在上一篇《Java 并发系列（1）AbstractQueuedSynchronizer 源码分析之概要分析》中介绍了 AbstractQueuedSynchronizer 基本的一些概念，主要讲了 AQS 的排队区是怎样实现的，什么是独占模式和共享模式以及如何理解结点的等待...