bn接口定义：
代码语言：javascript复制 torch.nn.BatchNorm2d：
def init(self,
num_features,
eps=1e-5,
momentum=0.1,
affine=True,
track_running_stats=True)args：
- momentum：
- 默认为 0.1 。
- 要freeze的时候就设置为0.0（和 tf 里面是反着来的，tf是设置为1.0才能freeze）。
- rack_running_stats：
- 计算running_mean和running_var（即moving_mean和moving_var）。
- 默认为True。
- 当设置为True时：
- train 的时候用当前batch的mean和var，并更新running_mean和running_var。
- eval 的时候用存储的running_mean和running_var，不会更新running_mean和running_var。
- 当设置为False时：
- train 的时候用当前batch的mean和var，不会更新running_mean和running_var。
- eval 的时候用当前batch的mean和var，不会更新running_mean和running_var。
- 此时所有的 xx.xx.bn.running_mean、xx.xx.bn.running_var 和 xx.xx.bn.num_batches_tracked 都会被从 model.state_dict() 里面移除。（这三类缺失值可以从其他state_dict导入来补充）
- 具体参见《Pytorch的BatchNorm层使用中容易出现的问题》。
- affine：
- 是否要“乘上缩放矩阵，加上平移向量”（也就是仿射矩阵）的开关。
- 默认为True。
Note：
- 即使对bn设置了 requires_grad = False ，一旦 model.train() ，bn还是会偷偷开启update（ model.eval()模式下就又停止update ）。
