1. 什么是 Q-learning？
它是强化学习中的一种 values-based 算法，最终是会学习出一个表格 Q-Table，例如在一个游戏中有下面5种状态和4种行为，则表格为：
这个表格的每一行代表每个 state，每一列代表每个 action，表格的数值就是在各个 state 下采取各个 action 时能够获得的最大的未来期望奖励。
通过 Q table 就可以找到每个状态下的最优行为，进而通过找到所有最优的action得到最大的期望奖励。
2. 所以关键问题是表格的数值如何计算呢？
1. 首先 Q-table 初始化为 0。
2. 3. 然后根据当前的Q-Table给当前state选择一个action并执行。
执行过程是一直到本轮训练停止才算完成。不过因为初始的 Q-value 全是0，就要采取 epsilon greedy strategy 来选择。
所谓 epsilon greedy strategy 是指：
开始时通过设置一个较大的 epsilon，让agent探索环境并随机选择action。
随着agent对环境的了解，降低epsilon ，这样agent开始利用环境做出行动。
在当前state下选择了某个action后，就可以用Bellman equation计算Q-values：
4. 5. 评估：采取行动得到了奖励后就可以用Q函数更新 Q(s,a)：
重复这个过程一直到训练停止，就可以得到最优的 Q-table。
参考文献：
https://www.freecodecamp.org/news/an-introduction-to-q-learning-reinforcement-learning-14ac0b4493cc/
