如何复制 OR 删除 200 万个小文件,而且电脑不卡?

2021-06-16 15:57:07 浏览数 (1)

Windows 系统,单个文件夹下根目录文件有超过 200w,如何快速复制到另外一个电脑上?

问题描述

Windows 系统,其中有个文件夹,此文件夹下面大概有 200 多万个图片文件,请问如何复制到另外一个电脑上(移动硬盘)?已尝试系统自带的复制粘贴,卡死了。

Robocopy 命令行版(微软产品,系统自带)

将文件数据从一个位置复制到另一个位置。

注意看上图,Robocopy 不光支持复制文件,还支持删除文件。

语法:

代码语言:javascript复制
robocopy <source> <destination> [<file>[ ...]] [<options>]
代码语言:javascript复制
robocopy 源路径 目标路径 /NS /NC /NFL /NDL /NP

参数:

参数

说明

<source>

指定源目录的路径。

<destination>

指定目标目录的路径。

<file>

指定要复制的一个或哪些文件。 支持 ( 或 ?) 的通配符。 如果未指定此参数, .* 则将用作默认值。

<options>

指定用于 robocopy 命令的选项,包括 复制、 文件、 重试、 日志记录 和 作业 选项。

来解释下参数吧,robocopy 需要使用命令行,打开 cmd 后输入:

  • /NS: 指定不记录文件大小。
  • /NC: 指定不记录文件类。
  • /NFL:指定不记录文件名。
  • /NDL:指定不记录目录名。
  • /NP:指定不要显示复制操作的进度(到目前为止复制的文件或目录数)。

这参数基本上就是不记录什么日志了,其他都默认。

如果要删除一个目录,主要解决思路是,利用 robocopy 工具目录镜像的功能,把一个空目录镜像给要删除的目录,让其变为空目录,就可删除了。

1、创建一个空目录 d:a

2、假设要删除的目录 d:b

3、保证在 CMD 窗口中可以运行 robocopy 命令,执行命令如下:

代码语言:javascript复制
robocopy /MIR d:a d:b

更多参数:

一、 复制选项:

参数解释:

  • /S :: 复制子目录,但不复制空的子目录。
  • /E :: 复制子目录,包括空的子目录。
  • /LEV:n :: 仅复制源目录树的前 n 层。
  • /Z :: 在可重新启动模式下复制文件。
  • /B :: 在备份模式下复制文件。
  • /ZB :: 使用可重新启动模式;如果拒绝访问,请使用备份模式。
  • /EFSRAW :: 在 EFS RAW 模式下复制所有加密的文件。
  • /COPY:复制标记:: 要复制的文件内容(默认为/COPY:DAT)(复制标记: D=数据,A=属性,T=时间戳)(S=安全=NTFS ACL,O=所有者信息,U=审核信息)。
  • /DCOPY:T :: 复制目录时间戳。
  • /SEC :: 复制具有安全性的文件(等同于/COPY:DATS)。
  • /COPYALL :: 复制所有文件信息(等同于/COPY:DATSOU)。
  • /NOCOPY :: 不复制任何文件信息(与/PURGE 一起使用生效)。
  • /SECFIX :: 修复所有文件的文件安全性,即使是跳过的文件。
  • /TIMFIX :: 修复所有文件的文件时间,即使是跳过的文件。
  • /PURGE :: 删除源中不再存在的目标文件/目录。
  • /MIR :: 镜像目录树(等同于/E 和/PURGE)。
  • /MOV :: 移动文件(复制后从源中删除)。
  • /MOVE :: 移动文件和目录(复制后从源中删除)。
  • /A :[RASHCNET] :: 将给定的属性添加到复制文件。
  • /A-:[RASHCNET] :: 从复制文件中删除给定的属性。
  • /CREATE :: 仅创建目录树和长度为零的文件。
  • /FAT :: 仅使用 8.3 FAT 文件名创建目标文件。
  • /256 :: 关闭超长路径(> 256 字符)支持。
  • /MON:n :: 监视源;发现多于 n 个更改时再次运行。
  • /MOT:m :: 监视源;如果更改,在 m 分钟时间内再次运行。
  • /RH:hhmm-hhmm :: 运行小时数 - 可以启动新副本的时间。
  • /PF :: 以每个文件(而不是每个步骤)为基础检查运行小时数。
  • /IPG:n :: 程序包间的间距(ms),以释放低速线路上的带宽。

二、文件选择选项:

参数解释:

  • /A :: 仅复制具有存档属性集的文件。
  • /M :: 仅复制具有存档属性的文件并重置存档属性。
  • /IA:[RASHCNETO] :: 仅包含具有任意给定属性集的文件。
  • /XA:[RASHCNETO] :: 排除具有任意给定属性集的文件。
  • /XF 文件[文件]... :: 排除与给定名称/路径/通配符匹配的文件。
  • /XD 目录[目录]... :: 排除与给定名称/路径匹配的目录。
  • /XC :: 排除已更改的文件。
  • /XN :: 排除较新的文件。
  • /XO :: 排除较旧的文件。
  • /XX :: 排除多余的文件和目录。
  • /XL :: 排除孤立的文件和目录。
  • /IS :: 包含相同文件。
  • /IT :: 包含已调整的文件。
  • /MAX:n :: 最大的文件大小 - 排除大于 n 字节的文件。
  • /MIN:n :: 最小的文件大小 - 排除小于 n 字节的文件。
  • /MAXAGE:n :: 最长的文件存在时间 - 排除早于 n 天/日期的文件。
  • /MINAGE:n :: 最短的文件存在时间 - 排除晚于 n 天/日期的文件。
  • /MAXLAD:n :: 最大的最后访问日期 - 排除自 n 以来未使用的文件。
  • /MINLAD:n :: 最小的最后访问日期 - 排除自 n 以来使用的文件(If n < 1900 then n = n days, else n = YYYYMMDD date)。
  • /XJ :: 排除接合点。(默认情况下通常包括)。
  • /FFT :: 假设 FAT 文件时间(2 秒粒度)。
  • /DST :: 弥补 1 小时的 DST 时间差。
  • /XJD :: 排除目录的接合点。
  • /XJF :: 排除文件的接合点。

三、重试选项:

参数解释:

  • /R:n :: 失败副本的重试次数: 默认为 1 百万。
  • /W:n :: 两次重试间的等待时间: 默认为 30 秒。
  • /REG :: 将注册表中的 /R:n 和 /W:n 保存为默认设置。
  • /TBD :: 等待定义共享名称(重试错误 67)。

四、日志记录选项:

参数解释:

  • /L :: 仅列出 - 不复制、添加时间戳或删除任何文件。
  • /X :: 报告所有多余的文件,而不只是选中的文件。
  • /V :: 生成详细输出,同时显示跳过的文件。
  • /TS :: 在输出中包含源文件的时间戳。
  • /FP :: 在输出中包含文件的完整路径名称。
  • /BYTES :: 以字节打印大小。
  • /NS :: 无大小 - 不记录文件大小。
  • /NC :: 无类别 - 不记录文件类别。
  • /NFL :: 无文件列表 - 不记录文件名。
  • /NDL :: 无目录列表 - 不记录目录名称。
  • /NP :: 无进度 - 不显示已复制的百分比。
  • /ETA :: 显示复制文件的预期到达时间。
  • /LOG:文件:: 将状态输出到日志文件(覆盖现有日志)。
  • /LOG :文件:: 将状态输出到日志文件(附加到现有日志中)。
  • /UNILOG:文件:: 以 UNICODE 方式将状态输出到日志文件(覆盖现有日志)。
  • /UNILOG :文件:: 以 UNICODE 方式将状态输出到日志文件(附加到现有日志中)。
  • /TEE :: 输出到控制台窗口和日志文件。
  • /NJH :: 没有作业标头。
  • /NJS :: 没有作业摘要。
  • /UNICODE :: 以 UNICODE 方式输出状态。

五、 作业选项 :

参数解释:

  • /JOB:作业名称:: 从命名的作业文件中提取参数。
  • /SAVE:作业名称:: 将参数保存到命名的作业文件
  • /QUIT :: 处理命令行后退出(以查看参数)。
  • /NOSD :: 未指定源目录。
  • /NODD :: 未指定目标目录。
  • /IF :: 包含以下文件。

微软提供了非常详细的中文参数说明页面,可以参考 robocopy 文档: https://docs.microsoft.com/zh-cn/windows-server/administration/windows-commands/robocopy

Robocopy GUI 图形界面版本

对于不喜欢命令行的同学,微软也提供了图形界面版本,由 TechNet Magazine 的技术和组稿编辑 Joshua Hoffman 带来。

无中文界面,不过使用默认就好,选择源路径(Source Path)和目标路径(Target Path)即可,最后点击 Run 即可。

对付海量文件,微软还是认真的。

附另两种快速删除大量文件或目录的方法:

命令分别如下:

代码语言:javascript复制
rmdir [drive:]path [/S] [/Q]
del [drive:]path [/S] [/Q]

其中 rmdir 与 rd 命令相同。

/S 表示除目录本身外,还将删除指定目录下的所有子目录和文件。 /Q 表示安静模式,删除时不需要经过确认。

如删除 D:temp 目录下的所有文件的写法如下:

代码语言:javascript复制
rmdir d:temp /S /Q
del d:temp /S /Q

推荐使用 rmdir 命令,批量删除大量文件时比 del 更高效快速。

不想敲命令的可以直接下载打包好的 exe 小工具:https://download.csdn.net/download/weixin_41287692/12326859

via:

如何复制 200 万个小文件,而且电脑不卡? https://mp.weixin.qq.com/s/gKUYTHINLsH1iE-OGn7UAA

Windows下快速复制文件工具Robocopy介绍 - Lion - 博客园 https://www.cnblogs.com/lion.net/archive/2009/08/15/1546907.html

robocopy | Microsoft Docs https://docs.microsoft.com/zh-cn/windows-server/administration/windows-commands/robocopy

0 人点赞