【2021微信大数据挑战赛】TI-ONE 平台环境安装指引

2021-07-15 10:57:59 浏览数 (3)

1. 查看环境

平台已经提供了一些conda环境，可以用如下命令进行查看：

代码语言：javascript复制
conda env list

结果如下：

代码语言：javascript复制
# conda environments:
#
base                     /opt/conda
JupyterSystemEnv      * /opt/conda/envs/JupyterSystemEnv
mxnet_py2                /opt/conda/envs/mxnet_py2
mxnet_py3                /opt/conda/envs/mxnet_py3
python2                  /opt/conda/envs/python2
python3                  /opt/conda/envs/python3
pytorch_py2              /opt/conda/envs/pytorch_py2
pytorch_py3              /opt/conda/envs/pytorch_py3
tensorflow2_py3          /opt/conda/envs/tensorflow2_py3
tensorflow_py2           /opt/conda/envs/tensorflow_py2
tensorflow_py3           /opt/conda/envs/tensorflow_py3

如果已有环境能够满足所需的环境依赖，则不用进行环境安装。直接激活已有的环境（E.g. source activate tensorflow_py3）或者打开某个环境的Jupyter Notebook即可，可以跳过后面的操作指引。

如果已有的conda环境无法满足需求，则需要创建一个新的conda环境。注意不要在平台提供的conda环境上进行安装，因为其位于/opt/conda/envs目录下，当Notebook实例重启时环境会丢失。具体操作步骤如下：

2. 创建环境

2.1安装路径

建议将环境依赖安装于/home/tione/notebook/envs目录下，官方提供的demo环境目录为: /home/tione/notebook/envs/wbdc2021_demo，选手可以自定义conda环境名，对应init.sh脚本中的CONDA_NEW_ENV变量。

2.2创建conda环境

使用conda create命令来创建所需的conda环境。需要注意的是，只能使用--prefix模式指定安装路径来创建，而不能用--name的方式创建。因为后者创建的环境会默认保存在/opt/conda/envs目录下，当Notebook实例重启时环境会丢失。

创建conda环境时，可自行指定python版本和依赖库，例如：

代码语言：javascript复制
conda create --prefix /home/tione/notebook/envs/wbdc2021_demo -y python=3.6 ipykernel

也可以基于已有的conda环境进行创建，例如：

代码语言：javascript复制
conda create --prefix /home/tione/notebook/envs/wbdc2021_demo -y --clone tensorflow_py3

使用conda env list命令检查是否安装成功，预期结果如下：

代码语言：javascript复制
# conda environments:
#
                         /home/tione/notebook/envs/wbdc2021_demo
base                     /opt/conda
JupyterSystemEnv      *  /opt/conda/envs/JupyterSystemEnv
mxnet_py2                /opt/conda/envs/mxnet_py2
mxnet_py3                /opt/conda/envs/mxnet_py3
python2                  /opt/conda/envs/python2
python3                  /opt/conda/envs/python3
pytorch_py2              /opt/conda/envs/pytorch_py2
pytorch_py3              /opt/conda/envs/pytorch_py3
tensorflow2_py3          /opt/conda/envs/tensorflow2_py3
tensorflow_py2           /opt/conda/envs/tensorflow_py2
tensorflow_py3           /opt/conda/envs/tensorflow_py3

可以看到，结果中多了一个/home/tione/notebook/envs/wbdc2021_demo 环境。这个就是我们刚新建的conda环境。此时，打开Launcher也可以看到该环境的jupyter notebook，如下所示：

2.3激活环境

使用source activate激活新建的conda环境，例如：

代码语言：javascript复制
source activate /home/tione/notebook/envs/wbdc2021_demo

2.4安装依赖

可以在激活后的环境下安装依赖库:

代码语言：javascript复制
pip install -r requirements.txt

安装完后请检查依赖库是否成功安装到新建的conda环境下。

2.5重启修复

每次实例停止后再启动（需要等待一定时间），之前创建的conda环境配置都需要重新加上。实例启动成功后，打开实例，运行如下命令，将之前创建的环境加到conda配置中。

代码语言：javascript复制
conda config --add envs_dirs /home/tione/notebook/envs

最后，使用conda env list命令检查是否安装成功。

3. 运行init.sh

为了方便选手快速进行环境安装和配置，官方将以上步骤整合为一个demo脚本（init.sh）给选手参考。选手可以根据需要修改init.sh和requirements.txt文件。下面介绍该脚本运行的方法：

3.1初次安装

实例不删除，则只需执行一次。执行命令如下：

代码语言：javascript复制
cd /home/tione/notebook/wbdc2021
./init.sh install
source activate /home/tione/notebook/envs/wbdc2021_demo

如果没有init.sh的可执行权限，可以运行：

代码语言：javascript复制
chmod a x ./init.sh

3.2重启实例

每次重启实例都需执行。

代码语言：javascript复制
cd /home/tione/notebook/wbdc2021
./init.sh fix
source activate /home/tione/notebook/envs/wbdc2021_demo

4. 提示

4.1 大家在创建完环境之后用pip安装之前，最好先which pip 看看安装的是哪一个pip。只有pip路径是创建的conda环境才能安装到这个路径下，否则可能会安装到系统默认路径下，这样重启的时候就没有了。 或者在安装的时候也可以指定pip进行安装，例如 /home/tione/notebook/envs/wbdc2021-demo/bin/pip install gensim

传送门

赛事教程汇总专题

腾讯云TI平台 机器学习平台

0 人点赞