本文主要详细介绍了torch_pgu版本的安装
,其中包括cuda和cudnn的环境配置
图解流程,以及如何使用conda命令进行虚拟环境的创建、删除、使用
等操作,列举conda的常用命令集
,包括如何实现Windows之间的conda环境的迁移
;除以之外,介绍了pycharm断点调试的详细流程
和不同的调试方法
。
Ⅰ.虚拟环境的搭建
以torch_gpu 1.4.0版本为例,首先登陆官网https://pytorch.org/,然后选择 。
然后找到V1.4.0版本,因为我的电脑的cuda是10.1版本的,所以选择对应的cuda命令。
①cuda和cudnn如何准备?
可使用Win R键,打开对话窗口,输入cmd指令,然后在Windows自带的cmd.exe对话窗口输入:nvcc --version进行查询,如下图所示。
如白框所示,该电脑的cuda版本为:10.1。
找到,使用qq账号登录,如下图所示。
选择下载历史版本的cudnn,如下图所示。
然后找到合适版本的cudnn,主要注意两点(cuda版本要匹配,同时适配Windows系统)。
解压cudnn文件夹,将解压后的文件夹下的文件拷贝到cuda安装目录下,与之相对应的文件夹下,如下图所示。
②如何创建针对于深度学习项目的虚拟环境?
1.首先找到Anaconda Prompt,然后输入命令:
代码语言:javascript复制conda create -n torch14 python=3.6
这里需要注意的是,pytorch1.4.0仅支持python3.6,不支持python3.7(torch14为虚拟环境的名称,python==3.6为指定的python编译器的版本)。
然后输入指令,激活torch14环境:
代码语言:javascript复制conda activate torch14
2.添加安装包的默认下载源,输入以下命令行:
代码语言:javascript复制conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
3.在torch14的虚拟环境下,安装torch1.4.0,输入以下指令:
代码语言:javascript复制conda install pytorch==1.4.0 torchvision==0.5.0 cudatoolkit=10.1
4.查看安装结果,输入以下指令:
代码语言:javascript复制pip show torch
输入指令 | 指令含义 |
---|---|
conda -V或conda --version | 获取版本号 |
conda update --help 或conda remove --help等 | 查看某一命令的帮助 |
conda env -h | 查看环境管理的全部命令帮助 |
conda create -n env_name python=3.5 | 创建指定python版本的conda环境 |
conda create -n env_name numpy scipy | 创建包含某些包的conda环境 |
conda create -n env_name python=3.5 numpy scipy | 创建指定python版本下包含某些包的环境 |
conda info --envs或conda env list | 列举当前所有环境 |
activate env_name | 进入指定的conda环境 |
deactivate | 退出当前环境 |
conda remove -n env_name --all | 删除某个环境 |
conda list | 列举当前活跃环境下的所有包 |
conda install -n env_name package_name | 为指定环境安装某个包 |
conda env export > environment.yml | 生成当前环境的environment.yml文件 |
conda env create -f environment.yml | 根据environment.yml文件创建并配置一个conda环境 |
③如何使用pycharm调用已配置好的虚拟conda环境?
最后点击Apply即可完成conda环境的配置,但是这里也需要注意一个点就是如何找到我们自己搭建的conda环境的文件夹下的conda.exe文件进行环境的调用。
这里可以打开Anaconda Prompt操作框,输入以下指令:
代码语言:javascript复制conda info --envs
即可查询到对应的conda环境的文件夹位置信息,如下图所示。
④如何在不同的Windows主机上迁移配置好的conda环境?
1.安装Conda-pack,并打包配置好的conda环境
先在 anaconda prompt终端输入:
代码语言:javascript复制 pip install conda-pack
然后,使用conda-pack打包当前的conda环境:
代码语言:javascript复制# Pack environment my_env into my_env.tar.gz
conda pack -n my_env
# Pack environment my_env into out_name.tar.gz
conda pack -n my_env -o out_name.tar.gz
# Pack environment located at an explicit path into my_env.tar.gz
conda pack -p /explicit/path/to/my_env
需要注意点的是,推荐选择指定路径的打包方式,因为便于找到打包之后的conda环境位置。
2.将打包好的压缩文件转移到目标Windows主机,进行环境的解压和激活:
代码语言:javascript复制# Unpack environment into directory `my_env`
mkdir -p my_env
tar -xzf my_env.tar.gz
关于tar指令的用法,可参考这篇博客:
3.使用迁移后的conda环境:
先在 anaconda prompt终端输入:
代码语言:javascript复制 activate path/env
这里需要注意的是,与直接使用本机的conda环境不同,需要指定该迁移环境的具体路径才能使用!
补充:如果迁移后的conda环境报错未激活,如何激活?
1.首先查看自己的conda版本
在 anaconda prompt终端输入:
代码语言:javascript复制conda --version
2.根据不同的conda版本进行的conda环境的激活
Conda低于4.6版本:
- 用Win X组合键调出PowerShell管理员模式;1. 输入命令
conda install -n root -c pscondaenvs pscondaenvs
安装PSCondaEnvs
包;1. 输入命令Set-ExecutionPolicy RemoteSigned
,在出现选项后输入Y回车,更改PowerShell的安全策略。1. PowerShell中使用activate 环境名
激活环境,使用deactivate
退出环境。Conda大于等于4.6版本: - 用Win X组合键调出PowerShell管理员模式;1. 输入命令
conda init powershell
,关闭后重新打开一个powershell窗口输入conda activate 环境名
激活环境,退出环境用conda deactivate
。
⑤如何生成项目文件夹的requirements.txt,以及根据.txt文件安装对应的库环境?
1.生成requirements.txt
推荐使用 pip
来安装 pipreqs
,安装命令:
pip install pipreqs
注意,这里的操作也是在torch14的conda环境下执行该命令!
然后使用cd命令定位到项目文件的根目录:
代码语言:javascript复制pipreqs root_folder --encoding=utf8
如果已有requirements.txt文件,可以使用参数 --force
来覆盖重新生成requirements.txt
,如下:
pipreqs root_folder --encoding=utf-8 --force
注意,这里的文件必须定位到项目文件夹的根目录,然后使用pipreqs命令进行requirements.txt文件的自动生成!
2.安装requirements.txt对应的环境需求
使用以下命令,进行环境的配置:
代码语言:javascript复制pip install -r requirements.txt
⑥如何修改pip工具的默认下载源网站?
window系统,是在%APPDATA%路径下,(说明:%APPDATA%是一个系统变量来着)操作如下:
直接回去即可:
新建一个pip文件夹,并创建pip.ini文件即可,如:
文件的内容如下:
代码语言:javascript复制[global]
timeout = 6000
index-url = http://mirrors.aliyun.com/pypi/simple/
trusted-host = mirrors.aliyun.com
⑦如何恢复pip默认源?
方法一:进入pip配置文件夹
代码语言:javascript复制cd ~/.config/pip
打开pip.conf,将里面的内容删掉或者用#注释掉。
方法二:如果只是想临时用默认源,可用:
代码语言:javascript复制pip install 模块名 -i https://pypi.org/simple
方法三:conda直接输入:
代码语言:javascript复制conda config --remove-key channels
Ⅱ.如何使用pycharm进行源码的调试?
①pycharm断点调试的主要流程
1.添加断点
断点的添加如下图所示在代码前面左键单机即可。
2.调试断点
点击那个绿色的甲虫图标,进行断点调试。
点击后,会运行到第一个断点。会显示该断点之前的变量信息。
点击Step Over 或者按F8,我们继续往下运行,到下一个断点,按钮如下图所示:
②pycharm断点调试,单步调试step into/step out/step over区别?
step into:单步执行,遇到子函数就进入并且继续单步执行(简而言之,进入子函数);
step over:在单步执行时,在函数内遇到子函数时不会进入子函数内单步执行,而是将子函数整个执行完再停止,也就是把子函数整个作为一步。有一点,经过我们简单的调试,在不存在子函数的情况下是和step into效果一样的(简而言之,越过子函数,但子函数会执行)。
step out:当单步执行到子函数内时,用step out就可以执行完子函数余下部分,并返回到上一层函数。
过程实例:
点击 pycharm 右上部爬虫按钮进入调试状态,程序在第14行断点处停止,按 F5(step into)进入 add() 函数,按 F7(step out) 执行完add()函数余下部分,返回入口函数 debug_test() 继续执行,按 F6(step over) 直接将 divide() 函数执行完。最后单步执行至入口函数结束
。