1）百亿数据：证明数据量非常大 2）存入HBase：证明是跟HBase的写入数据有关 3）保证数据的正确：要设计正确的数据结构保证正确性 4）在规定时间内完成：对存入速度是有要求的...

class torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)[source]

At the heart of PyTorch data loading utility is the torch.utils.data.DataLoader class. It represents a Python iterable over a dataset, with support for

Adds a Batch Normalization layer from http://arxiv.org/abs/1502.03167

Tensor是Tensorflow中最基础的数据结构，常常翻译为张量，可以理解为n维数组或矩阵，相关函数：

Gather slices from params into a Tensor with shape specified by indices.

数据较多或者模型较大时，为提高机器学习模型训练效率，一般采用多GPU的分布式训练。

BN层有4个参数，gamma、beta、moving mean、moving variance。其中gamma、beta为学习参数，moving mean、moving variance为数据集统计均值与方差，不可学习。在训练过程中：...

BN 需要用到足够大的批大小（例如，每个工作站采用 32 的批量大小）。一个小批量会导致估算批统计不准确，减小 BN 的批大小会极大地增加模型错误率。加大批大小又会导致内存不够用。...

上述几个属性中，_parameters、_modules和_buffers这三个字典中的键值，都可以通过self.key方式获得，效果等价于self._parameters['key'].