最新 最热

Python自动计算大量遥感数据的NDVI

本文介绍基于Python中的gdal模块,批量基于大量多波段遥感影像文件,计算其每1景图像各自的NDVI数值,并将多景结果依次保存为栅格文件的方法。

2024-07-31
1

批量更新状态功能在设备巡检、人员管理、工序流转等场景的应用

二维码已被应用在了各式各样的场景中,譬如教育培训、会议签到、产品展示等等。其中有很多场景需要一次性运用到大量的二维码,如人员管理、工序流转、设备巡检等,可以使用批量添加记录功能使工作效率近一步提升。...

2023-06-16
1

PyTorch深度学习(1)

科学技术发展如海浪一样也会潮起潮落,深度学习在经历了几次低谷后。2010年左右,在语音识别领域取得进展,2012年在计算机视觉领域也发展起来,随后各个领域都开始使用应用深度学习方法,而似乎渐渐抛弃了其他方法,那么深度学习...

2023-03-09
1

DataParallel里为什么会显存不均匀以及如何解决

鉴于网上此类教程有不少模糊不清,对原理不得其法,代码也难跑通,故而花了几天细究了一下相关原理和实现,欢迎批评指正!

2023-03-03
1

【Pytorch基础】加载数据集

上一篇训练神经网络是用的是批梯度下降,容易陷入鞍点中。Pytorch 提供了一个数据集加载工具,使得我们可以方便地用小批量随机梯度下降来训练网络。其包含两个部分:...

2023-02-27
1

updateStateByKey

updateStateByKey操作,可以让我们为每个key维护一份state,并持续不断的更新该state。 1、首先,要定义一个state,可以是任意的数据类型; 2、其次,要定义state更新函数——指定一个函数如何使用之前的state和新值来更新state...

2023-02-25
1

Python小案例(四)批量操作文件

下面代码的结果:在当前路径下新建batch_files文件夹,在该文件夹下批量生成三个日期的文件夹,每个日期文件夹里写入abcd四个txt文件,文件内容是随机的10个100以内的随机数。...

2023-02-24
1

einsum is all you needed

不仅如此,和其它pytorch中的函数一样,torch.einsum是支持求导和反向传播的,并且计算效率非常高。

2023-02-23
1

pytorch_lightning模型训练加速技巧与涨点技巧

pytorch-lightning 之于 pytorch,就如同keras之于 tensorflow.

2023-02-23
0

源码级理解Pytorch中的Dataset和DataLoader

朋友,你还在为构建Pytorch中的数据管道而烦扰吗?你是否有遇到过一些复杂的数据集需要设计自定义collate_fn却不知如何下手的情况?你是否有遇到过数据管道加载速度过慢成为训练性能瓶颈却不知道如何优化的情况?...

2023-02-23
1