本文翻译自 AI4ESS 2020 课程，并有部分修改
Artificial Intelligence for Earth System Science (AI4ESS) Summer School
Machine and Statistical Learning Fundamentals
Dorit Hammerling - CSM / NCAR
通用框架，推理与预测
有用的参考书
免费，并且写得很好，都有良好的代码示例
An Introduction to Statistical Learning with Applications in R
http://faculty.marshall.usc.edu/gareth-james/ISL/
数学内容较少。
The Elements of Statistical Learning
https://web.stanford.edu/~hastie/ElemStatLearn/
更偏向于数学。
面向初学者的一些定义
统计学习（Statistical learning）：大量可从数据中获取见解的工具
监督 vs 非监督：输出 一个或更多的输入
- 分类
- 回归
- 。。。
监督学习：只有输入，对这些输入的结构更感兴趣
- 聚类
- 相关分析
- 降维，例如主成分分析
本讲座将聚焦监督学习。
基本模型方程
监督模型的最简单形式
Y=f(X) ε
模型构成：
Y：我们感兴趣的一些变量，输出
f ：关于 X 的某种固定但未知的函数
X：变量 X1,..., Xp，我们相信可能与 Y 有某种关联，输入
ε：随机误差项
机器学习的主要目标：
估计 f
回归 vs 分类
监督学习的场景可以分成回归（regression）和分类（classification）两类问题：
- 如果输出 Y 是定量变量 => 回归
- 如果输出 Y 是定性（类别）变量 => 分类
上述类别不依赖于输入变量，输入变量即可以是定量变量，也可以是定性变量。
还有一个灰色区域，例如在逻辑或多项式回归的情况下，输出是分类的。
为什么想要估计 f
两个主要的原因：
- 预测：如果我们获得一个新的 X，想要得到对应的 Y
- 推理：X 和 Y 之间的关系是什么
我们的动机会影响我们选择模型 f 的方法！
在预测准确性和模型可解释性之间进行权衡：
更简单，更不灵活的模型通常更易于解释，但可能不如更灵活的模型准确。
预测
预测等式的简单形式
Y^ = f^(X)
如果我们的目标仅仅是预测结果，那么可以将 f^ 当成一个黑箱。
这意味着我们不关心 f^ 的精确形式，也不关心 Xs 是如何与 Ys 关联的。
我们关心的是 准确 的预测。
预测精度
我们预测的 Y^ 与真实值 Y 有多接近？
通常表示为 Y 的预测值和真实值之间的平方差，它取决于两个误差分量。
可减少的误差和不可减少的误差的分解：
解释不可减少的误差
Figure credit: Introduction to Statistical Learning, Figure 2.2
预测精度（续）
统计学习的重点在于最小化可减少的误差。根据定义，这对于不可减少的误差是无法做到的，这为预测精度提供了一个界限。不幸的是，在实践中这种界限几乎总是未知的。
为什么会有不可减少的误差？
- 对于预测 Y 可能有用的变量没有测量，或不是 X 的组成部分。
- 在建模的系统中存在固有的可变性
推断
我们想要理解 X 和 Y 之间的关系，特别是 Y 如何以 X1,...,Xp 的函数形式进行变化。
在这种情况下，我们 不能 将 f 作为黑箱，我们更关注它的确切形式。
推断领域中出现的典型问题：
- 哪些预测因素与响应有关？=> 变量选择
- 预测变量与响应之间的关系的本质是什么？=> 模型选择
在某些情况下，我们对预测和推断都感兴趣。
参考
https://www2.cisl.ucar.edu/events/summer-school/ai4ess/2020/artificial-intelligence-earth-system-science-ai4ess-summer-school
https://github.com/NCAR/ai4ess-hackathon-2020
