腾讯云GPU云服务器深度学习初体验

2022-05-30 17:35:13 浏览数 (2)

最近在跑深度学习,需要大量的算力资源,偶然机会注意到了腾讯云的GPU云服务器的体验活动,果断参加,现将我个人的快速上手体验和遇到的问题分享给大家,请大家指正。

一、环境选择

系统初始化环境:

  • 机型:GN7.5XLARGE80
  • OS:Windows Server 2019 数据中心版 64位 中文版
  • CPU:Intel(R) Xeon(R) Platinum 8255C CPU @2.50GHz 2.49GHz * 20CPUs
  • RAM:80GB
  • GPU:Tesla T4 * 1

初始系统我选择了Windows Server 2019 数据中心版 64位 中文版,主要是因为个人对Windows系统的操作比较熟悉,方便操作,当然官方也提供了Ubuntu或者Centos供大家选择。

目前Ubuntu、Centos已经提前预装了各种驱动,大家在配置实例时可根据需求选择所需镜像,而Windows还需要自己重新安装各种驱动,希望后面官方也能提供Windows版本的镜像。

二、驱动安装

驱动的安装方法社区里已经有很多介绍文章了,这里附上官方文档说明,大家可参考,就不再赘述。

安装 NVIDIA Tesla 驱动:https://cloud.tencent.com/document/product/560/8048

安装 CUDA 驱动:https://cloud.tencent.com/document/product/560/8064

零基础可参考这篇文章:零基础小白使用GPU云服务器(以Windows系统为例)搭建自己的深度学习环境。里面对驱动版本、Pytorch、Tensorflow、Python这几个的版本匹配关系写的很详细,可供参考。

三、深度学习环境配置

推荐基础搭配:Anaconda Pytorch Tensorflow,其它可按需求安装,如果是零基础,同样推荐参考:零基础小白使用GPU云服务器(以Windows系统为例)搭建自己的深度学习环境

特别强调在安装Pytorch 、Tensorflow或其它库时,推荐使用清华源安装,可以显著加快下载速度,毕竟时间还是很宝贵的。

使用方法:

代码语言:javascript复制
pip install some-package -i https://pypi.tuna.tsinghua.edu.cn/simple

安装Pytorch与Tensorflow_gpu

代码语言:javascript复制
# Pytorch
pip install torch==1.8.1 cu102 torchvision==0.9.1 cu102 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html

# Tensorflow_gpu
pip install tensorflow-gpu==2.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

这样,GPU云服务器的深度学习环境就已经搭建好了,再安装一下Python工具如PyCharm,就可以愉快的开始你的深度学习之旅了。

四、远程服务器环境访问

远程服务器为Linux系统时,可通过配置Windows本地PyCharm连接远程服务器,实现对远程服务器的GPU资源利用,那如果远程服务器为Windows系统时,可否通过同样的方式进行使用呢,这里笔者进行了尝试。

4.1 安装SFTP软件

进行远程连接部署时,连接类型通常为SFTP,如下图所示。Linux系统下,SFTP默认都会安装,而Windows则没有,所以我们首先应该为Windows云服务器搭建SFTP站点。

首先进入官网下载freeSSHd.exe:http://www.freesshd.com/?ctt=download

下载完成直接运行freeSSHd.exe

使用默认安装位置C:Program Files (x86)freeSSHd

安装内容选择, 只有一个选项,全部安装。

确定文件夹名称和是否创建桌面快捷方式,按照个人需要设置。

信息确认,确认无误后点击install即可开始安装。

安装过程会弹出这个窗口,点击close直接关闭即可

私有秘钥安装提示,点击确认,安装目录下会多出几个文件。

下图选中文件即为安装私有密钥后多出的文件。

私钥安装完成后还会出现是否把freeSSHd作为一个服务安装到系统服务中的提示,这里我选择了是。

这样就安装完成了。

4.2 配置SFTP服务器

4.2.1 添加用户

打开SFTP软件,点击Users -> Add,输入登录名和密码(自定义),点击确定就添加完成。

4.2.2 设置SSH服务器IP地址、端口

点击SSH,地址为本地IP地址,端口为22,点击应用

4.2.3 设置登录授权选项

Public key auth意指通过公钥登录,按需选择,完成后点击应用

4.2.4 设置SFTP服务器根目录

4.2.5 启动服务器Server Status

注意,这一步有可能会报错:Generic error for access violation,如下所示,主要是因为服务被占用了,在系统服务将其关闭后再去启动即可。

搭建好SFTP站点后,就可以配置Windows本地PyCharm连接远程服务器了。

4.3 配置Windows本地PyCharm连接远程服务器

4.3.1 配置PyCharm远程连接到服务器

这里需要注意,PyCharm需要是专业版。用PyCharm打开一个项目,在菜单中打开工具 -> 部署 -> 配置英文版应该是:Tools -> Deployment -> Configuration

点击 添加按钮,选择SFTP

填写一个远程连接的名字,可自定义,然后点击确定

点击浏览SSH配置的按钮 ...

点击 号,新建一个SSH配置,主机为服务器的IP地址,用户名和密码为搭建SFTP站点时的添加的用户名和密码,然后点击测试链接,在弹出的确认主机密钥按钮选择确定,出现连接成功提示后,点击确定然后点击应用->确定,保存远程连接配置

4.3.2 配置PyCharm使用实例中的Python解析器

在菜单中选择文件 -> 设置 -> 项目 -> Python解释器,点击右上角的齿轮⚙️,然后点击添加

左侧选择 SSH 解释器,右侧选择 现有服务器配置,然后点击...,选择上一步创建的 SSH ,连接服务器的配置,点击 下一个

解释器填写自己服务器中的Python解析器路径;同步文件夹填写本地文件夹和服务器文件夹的映射。填写完成后点击完成

就在这最后一步时,问题出现了,点击完成后,会一直显示正在获取远程解释器版本,导致最终最终远程访问配置失败。这个问题百度了许久,也尝试了一些方法,但最终没有解决,希望大家能给出建议。

后记

虽然最后想通过配置Windows本地PyCharm连接远程Windows系统的服务器的尝试失败,但这个过程也不失为一个有趣的体验。

0 人点赞