如何安全地查找电脑上的重复文件

为什么按名称和大小匹配会找错文件

名称匹配会在两个方向上失手。同一张照片保存两次，会变成 IMG_4021.jpg 和 IMG_4021 (1).jpg——名字不同、字节相同；而两个毫不相干的文档，却完全可能都叫 invoice.pdf。加上文件大小之后假重复会减少，但不会绝迹：同一台机身拍的两张不同 JPEG，大小经常只差几个字节；还有大量小型配置文件，纯属巧合地一字节不差。

对安全真正要命的方向是误报：一个把“长得像”当成“重复”的工具，迟早会删掉无法挽回的东西。这也是“相似图片”匹配在任何自动化场景里都该警惕的原因——手工翻照片库时它确实好用，但一次连拍的十张几乎一样的照片是十张不同的照片，不是九个重复项，而且没有任何算法知道哪一帧里眼睛是睁开的。

站得住脚的定义只有一条：逐字节相同。不管名称、文件夹、时间戳还是扩展名，内容相同的两个文件才是重复文件。这是一个哈希能回答的问题，而且每次的回答都一样。

内容哈希是怎么工作的，它为什么快

密码学哈希把任意文件压缩成一个固定长度的指纹——SHA-256 是 64 个十六进制字符。相同的内容永远产生相同的指纹，而在实际意义上，两个不同的文件永远不会撞出同一个指纹。比较指纹因此可以可靠地替代比较整个文件，还让你能把成千上万个文件放在一起比对，而不是两两捉对。

对所有文件都做哈希意味着读取磁盘上的每一个字节，所以称职的实现都分阶段进行。第一步按精确大小分组，因为大小不同的文件不可能相同——仅这一步就能在不读任何内容的前提下淘汰掉绝大多数候选。第二步只对多人组里剩下的文件哈希一小段前缀。只有这一轮的幸存者才做完整的 SHA-256。在一块典型的磁盘上，完整读取阶段最后碰到的只是数据的一小部分。

这个分阶段也解释了一次扫描该是什么体感。对几十万个文件的第一遍基本是元数据操作，几分钟就完；慢的是最后对那些真正同大小的大视频文件做完整哈希。如果一个工具号称按内容比较，却要跑上几个小时、把磁盘钉得死死的，它多半是在无差别地对所有东西做哈希。

用 PowerShell 手工来做

做一次有针对性的检查不需要任何软件。下面这条单行命令按长度给文件分组，丢掉大小唯一的，给剩下的算 SHA-256 哈希，然后只打印有多个文件共用同一哈希的那些组。把它指向某个具体的文件夹——扫整块磁盘也行，但得等一阵子。

• Get-ChildItem -Path 'C:\Users\You\Pictures' -Recurse -File | Group-Object Length | Where-Object { $_.Count -gt 1 } | ForEach-Object { $_.Group } | Get-FileHash -Algorithm SHA256 | Group-Object Hash | Where-Object { $_.Count -gt 1 } | ForEach-Object { $_.Group.Path }
• 给 Get-ChildItem 加上 -Filter '*.jpg'，可以只限定一种文件类型
• 结尾接 | Out-File C:\Temp\dupes.txt，把清单存下来慢慢查
• 在 Windows 终端或 PowerShell 里运行；查自己的文件夹不需要管理员权限
• 要给一个非常大的视频库做哈希、想快一点，可以改用 Get-FileHash -Algorithm SHA1

删任何东西之前，先读一遍输出

上面的命令刻意只打印路径、不删任何东西。这个分离就是整套安全模型：先生成清单，再读清单，最后才动手。把输出按文件夹排个序，规律通常一眼可见——相机导入文件夹被整个复制进了带日期的备份文件夹、一个项目被导出了两遍、一个音乐库既在“音乐”里、又躺在从旧外接盘整体粘到 C 盘上的那份拷贝里。

真要删的时候，删进回收站而不是永久删除，而且分小批进行，批次之间正常用一会儿机器。重复文件清理的失败模式从来不是删错某一个文件，而是在几组你还没弄清关系的文件夹之间，做了一次信心十足的批量选择。让回收站留在链路里，能把一次昂贵的失误变成一桩小小的不便。

重复文件真正扎堆的地方

真正的重复集中在少数几个可以预见的地方，只扫这几处比扫整块 C 盘又快又安全得多。“下载”是重灾区：同一个安装包或 PDF 被下载了三回，每一回都带着一个编号后缀。照片文件夹排第二，通常是手机导入跑了两遍，或者一张卡在重命名前后各复制了一次。

• 下载——带着 (1)、(2) 后缀的重复下载
• 图片和手机导入文件夹——导入跑了不止一次
• 云文件夹——OneDrive 和 Dropbox 的冲突副本，文件名后面缀着设备名
• 桌面，以及重装 Windows 之后遗留的“旧桌面”文件夹
• 聊天应用的媒体文件夹——同一张图片被好几个会话各自存了一份
• 项目导出文件夹——反复导出的渲染和构建产物
• 被整块拷进 C 盘某个文件夹里的旧外接磁盘

永远不该去重的地方

软件安装目录内部的重复内容是正常而且有意的。许多应用故意把同一个运行时库放进好几个文件夹，让每一处加载的都是自己测试过的那个版本；因为和另一份相同就删掉其中一份，正是“应用启动正常、几个月后在某个具体功能上翻车”的标准成因。同样的逻辑适用于游戏资源包，以及相同依赖散落在许多项目子文件夹里的开发目录。

Windows 本身是最锋利的那条边。C:\Windows\WinSxS 里满是看似重复、实则是指向磁盘上同一份数据的硬链接的文件，所以一个天真的扫描器会报出好几个 GB 的“重复”，删了不释放任何空间，还会破坏组件维护。把任何重复扫描都限制在你自己的数据文件夹里；一个主动提议扫描系统文件夹的工具，本身就是换工具的理由。

• C:\Windows 及其下的一切，尤其是 WinSxS
• C:\Program Files 和 C:\Program Files (x86)
• %APPDATA% 和 %LOCALAPPDATA%——应用状态和配置文件
• C:\ProgramData——许可证文件和应用数据库
• 游戏安装目录和启动器的内容目录
• 开发目录：node_modules、vendor、虚拟环境、构建输出
• 任何一块你不是唯一用户的磁盘上的东西

该留下哪一份副本，以及几个陷阱

一组文件确认完全相同之后，该保留的是你第一时间会去找的那个位置的副本——通常在原始文件夹里，而不是备份里、“下载”里或桌面上。优先选路径最短、名字最合理的那一份。如果一份在同步的云文件夹里、另一份不在，只有当那个文件夹确实是你干活的地方时，才留同步的那份——否则你是在把自己唯一的副本，交给一项你日后可能会重置同步的服务。

有三个陷阱值得点名。硬链接文件表现为共享同一份数据的多个路径，删掉其中一条不释放任何空间，另一条照常工作——无害，但在报告的节省永远兑现不了的时候很让人困惑。OneDrive“文件按需下载”下的云占位文件在本地可能根本不存在，对它们做哈希会强制下载整个文件夹。还有那些位于“由别的东西管理”的文件夹——备份集、代码仓库、游戏库——里的文件：只在文件系统的意义上它们是重复的，拥有它们的程序期待两份都在。

想要这套流程的可重复版本：Kleaner PRO 的重复文件查找器按 SHA-256 而不是名称比较，默认排除系统和程序文件夹，把匹配结果按完整路径分组，并且在你删除任何东西之前，先让你选定要保留的副本。上面的 PowerShell 路线对单个文件夹干的是同一件事——当你只想检查某一个地方时，它就是对的工具。

常见问题与解答

继续阅读

全部文章 · 常见问题