PyTorch入门:(四)torchvision中数据集的使用

2022-08-08 18:17:04 浏览数 (1)

前言:本文为学习 PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】时记录的 Jupyter 笔记,部分截图来自视频中的课件。

dataset的使用

在 Torchvision 中有很多经典数据集可以下载使用,在官方文档中可以看到具体有哪些数据集可以使用:

下面以CIFAR10数据集为例,演示下载使用的流程,在官方文档中可以看到,下载CIFAR10数据集需要的参数:

  • root表示下载路径
  • train表示下载数据为数据集还是训练集
  • download表示是否下载(如果本地有则不需要下载)
代码语言:javascript复制
import torchvision

train_set = torchvision.datasets.CIFAR10(root="./dataset_CIFAR10", train=True, download=True) # 下载训练集
test_set = torchvision.datasets.CIFAR10(root="./dataset_CIFAR10", train=False, download=True) # 下载测试集
代码语言:javascript复制
Downloading https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz to ./dataset_CIFAR10cifar-10-python.tar.gz
代码语言:javascript复制
98.7%

Files already downloaded and verified

可以看到在终端中会显示正在下载,如果下载缓慢的话,可以将连接复制到离线下载软件(如迅雷)中进行下载。

代码语言:javascript复制
# 查看图片和label
img,target = test_set[0]
img
test_set.classes[target]

代码语言:javascript复制
'cat'
代码语言:javascript复制
from torch.utils.tensorboard import SummaryWriter
dataset_transform = torchvision.transforms.Compose([
    torchvision.transforms.ToTensor()
])
train_set = torchvision.datasets.CIFAR10(root="./dataset_CIFAR10", train=True,transform=dataset_transform, download=False) # 转换训练集
test_set = torchvision.datasets.CIFAR10(root="./dataset_CIFAR10", train=False,transform=dataset_transform, download=False) # 转换测试集
writer = SummaryWriter("dataset_CIFAR10_tensor")
for i in range(10):
    img, target = train_set[i]
    writer.add_image("test_set", img, i)
writer.close()

在tensorboard输出后,在终端中输入命令启动tensorboard,然后可以查看图片:

dataloader的使用

主要参数:

0 人点赞