Como Encontrar Arquivos Duplicados no Seu PC com Segurança

Por que casar por nome e tamanho encontra os arquivos errados

O casamento por nome falha nos dois sentidos. A mesma foto salva duas vezes vira IMG_4021.jpg e IMG_4021 (1).jpg — nomes diferentes, bytes idênticos —, enquanto dois documentos totalmente sem relação podem se chamar invoice.pdf os dois. Somando o tamanho do arquivo, os falsos positivos diminuem, mas não somem: dois JPEG diferentes da mesma câmera frequentemente caem a poucos bytes de distância um do outro, e um sem-número de pequenos arquivos de configuração tem exatamente o mesmo tamanho por coincidência.

A direção que realmente importa para a segurança é o falso positivo: uma ferramenta que declara dois arquivos duplicados quando eles apenas se parecem vai, mais cedo ou mais tarde, apagar algo insubstituível. É também por isso que o casamento de “imagens semelhantes” merece desconfiança em qualquer fluxo automatizado. Ele é genuinamente útil para peneirar uma biblioteca de fotos à mão, mas uma sequência de dez fotos quase idênticas são dez fotografias diferentes, e não nove duplicados — e nenhum algoritmo sabe em qual quadro os olhos estão abertos.

A única definição que se sustenta é a identidade byte a byte. Dois arquivos são duplicados se o conteúdo é idêntico, independentemente de nome, pasta, marca de tempo ou extensão. Essa é uma pergunta que um hash responde — e responde sempre da mesma forma.

Como o hash de conteúdo funciona, e por que é rápido

Um hash criptográfico reduz qualquer arquivo a uma impressão digital de tamanho fixo — 64 caracteres hexadecimais no SHA-256. Conteúdo idêntico produz sempre impressão idêntica e, na prática, dois arquivos diferentes nunca colidem. Comparar impressões é, portanto, um substituto confiável de comparar arquivos inteiros — e permite comparar milhares de arquivos entre si, em vez de dois a dois.

Hashear tudo significaria ler cada byte do disco, então uma implementação competente trabalha em estágios. Primeiro ela agrupa os arquivos pelo tamanho exato, porque arquivos de tamanhos diferentes não podem ser idênticos — esse passo sozinho elimina a esmagadora maioria dos candidatos sem ler conteúdo nenhum. Depois hashea apenas um pequeno prefixo dos arquivos que restaram em grupos com mais de um. Só os sobreviventes dessa rodada recebem um SHA-256 completo. Num disco típico, o estágio de leitura integral acaba tocando uma fração pequena dos dados.

Essa etapação explica como uma varredura deve se sentir. Uma primeira passada sobre algumas centenas de milhares de arquivos é trabalho majoritariamente de metadados e termina em minutos; a parte lenta é o hash final dos arquivos de vídeo grandes que genuinamente dividem o mesmo tamanho. Se uma ferramenta leva horas e crava o disco alegando comparar por conteúdo, provavelmente está hasheando tudo indiscriminadamente.

Fazendo à mão com PowerShell

Você não precisa de software nenhum para uma verificação pontual. O one-liner abaixo agrupa os arquivos por tamanho, descarta os tamanhos únicos, hashea o resto com SHA-256 e imprime apenas os grupos em que mais de um arquivo compartilha um hash. Aponte-o para uma pasta específica — um disco inteiro funciona, mas demora.

• Get-ChildItem -Path 'C:\Users\You\Pictures' -Recurse -File | Group-Object Length | Where-Object { $_.Count -gt 1 } | ForEach-Object { $_.Group } | Get-FileHash -Algorithm SHA256 | Group-Object Hash | Where-Object { $_.Count -gt 1 } | ForEach-Object { $_.Group.Path }
• Acrescente -Filter '*.jpg' ao Get-ChildItem para restringir a um único tipo de arquivo
• Acrescente | Out-File C:\Temp\dupes.txt no final para salvar a lista e revisá-la
• Execute no Windows Terminal ou no PowerShell; não é preciso direito de administrador para as suas próprias pastas
• Use Get-FileHash -Algorithm SHA1 em vez disso se for hashear uma biblioteca de vídeos muito grande e quiser mais rapidez

Leia a saída antes de excluir qualquer coisa

O comando acima imprime caminhos de propósito e não exclui nada. Essa separação é todo o modelo de segurança: gere a lista, leia-a e só então aja. Ordene a saída por pasta e o padrão costuma aparecer na hora — a pasta de importação da câmera duplicada numa pasta datada de backup, um projeto exportado duas vezes, uma biblioteca de música que existe tanto em Música quanto numa cópia antiga de disco externo que foi colada no C:.

Quando for excluir, exclua para a Lixeira em vez de fazer exclusão permanente, e trabalhe em lotes pequenos, com uma pausa para usar a máquina normalmente entre eles. O modo de falha da limpeza de duplicados nunca é um arquivo errado só; é uma seleção em massa confiante através de pastas cuja relação você não tinha entendido. Manter a Lixeira no circuito transforma um erro caro num inconveniente.

Onde os duplicados realmente se acumulam

Os duplicados reais se concentram num punhado de lugares previsíveis, e varrer só eles é mais rápido e muito mais seguro do que varrer o C: inteiro. Downloads é o campeão: o mesmo instalador ou PDF baixado três vezes, cada um com um sufixo numerado. Pastas de fotos vêm em segundo, geralmente porque uma importação do celular rodou duas vezes ou um cartão foi copiado antes e depois de uma renomeação.

• Downloads — downloads repetidos com sufixos (1), (2)
• Pastas de imagens e de importação do celular — uma importação executada mais de uma vez
• Pastas de nuvem — cópias de conflito do OneDrive e do Dropbox com o nome do dispositivo acrescentado
• Pastas da Área de Trabalho e da “área de trabalho antiga” deixadas por uma reinstalação do Windows
• Pastas de mídia de mensageiros — a mesma imagem salva por várias conversas
• Pastas de exportação de projetos — renderizações e builds exportados repetidamente
• Um disco externo antigo copiado por inteiro para uma pasta no C:

O que nunca deve ser deduplicado

Conteúdo duplicado dentro de instalações de software é normal e intencional. Muitos aplicativos distribuem a mesma biblioteca de runtime em várias pastas de propósito, para que cada uma carregue a versão com que foi testada; excluir uma cópia porque ela é igual à outra é como nasce o aplicativo que abre bem e falha num recurso específico meses depois. A mesma lógica vale para pacotes de assets de jogos e para pastas de desenvolvimento, em que dependências idênticas aparecem em muitas subpastas de projetos.

O próprio Windows é a aresta mais afiada. C:\Windows\WinSxS está cheio de arquivos que parecem duplicados mas são links físicos apontando para os mesmos dados no disco, então um localizador ingênuo relata gigabytes de “duplicados” que não liberam nada quando excluídos — e quebram a manutenção quando o fazem. Restrinja qualquer varredura por duplicados às suas próprias pastas de dados, e trate uma ferramenta que se oferece para varrer pastas do sistema como um motivo para trocar de ferramenta.

• C:\Windows e tudo sob ele, o WinSxS acima de tudo
• C:\Program Files e C:\Program Files (x86)
• %APPDATA% e %LOCALAPPDATA% — estado e perfis de aplicativos
• C:\ProgramData — licenças e bancos de dados de aplicativos
• Pastas de instalação de jogos e diretórios de conteúdo de inicializadores
• Pastas de desenvolvimento: node_modules, vendor, ambientes virtuais, saída de build
• Qualquer coisa num disco do qual você não é o único usuário

Escolhendo qual cópia sobrevive, e as armadilhas

Confirmado que um grupo é idêntico, a cópia sobrevivente deve ser a que está no lugar onde você procuraria primeiro — normalmente a pasta original, e não o backup, a cópia dos Downloads nem a que está na Área de Trabalho. Prefira o caminho com o nome mais curto e mais sensato. Se uma cópia está numa pasta sincronizada na nuvem e a outra não, mantenha a sincronizada só se essa pasta for de fato o seu local de trabalho — caso contrário, você está entregando sua única cópia a um serviço cuja sincronização você pode redefinir mais tarde.

Três armadilhas merecem nome. Arquivos com link físico aparecem como caminhos separados que compartilham os mesmos dados, então excluir um não libera nada e o outro continua funcionando — inofensivo, mas confuso quando a economia prometida nunca se materializa. Arquivos marcador de posição da nuvem, nos Arquivos Sob Demanda do OneDrive, podem nem estar presentes localmente, e hasheá-los força o download da pasta inteira. E arquivos dentro de uma pasta que outra coisa gerencia — um conjunto de backup, um repositório, uma biblioteca de jogos — são duplicados apenas do ponto de vista do sistema de arquivos; o programa que os possui espera os dois.

Para uma versão reutilizável deste fluxo, o localizador de duplicados do Kleaner PRO compara por SHA-256 em vez de por nome, exclui pastas do sistema e de programas por padrão, agrupa as correspondências com caminhos completos e deixa você manter a cópia que escolher antes de qualquer exclusão. O caminho do PowerShell acima faz o mesmo serviço para uma pasta única, e é a ferramenta certa quando você quer verificar um lugar só.

Perguntas e respostas

Continue lendo

Todos os artigos · FAQ