Bilgisayarınızda yinelenen dosyalar nasıl güvenle bulunur

Ad ve boyuta göre eşleştirme neden yanlış dosyaları bulur

Ad eşleştirmesi iki yönde de başarısız olur. İki kez kaydedilen aynı fotoğraf IMG_4021.jpg ve IMG_4021 (1).jpg olur — adları farklı, baytları özdeş; bambaşka iki belge ise her ikisi de invoice.pdf adını taşıyabilir. Boyutu da ekleyin; yanlış eşleşmeler azalır ama yok olmaz: aynı gövdeden çıkmış iki farklı kamera JPEG'i sık sık birbirinin birkaç bayt yanına düşer ve çok sayıda küçük yapılandırma dosyası tesadüfen tamamen aynı boyuttadır.

Güvenlik açısından asıl önemli yön yanlış pozitiftir: yalnızca benzer görünen iki dosyayı yinelenen sayan bir araç, er ya da geç geri getirilemeyecek bir şeyi siler. Otomatikleştirilmiş her işlem için “benzer görüntü” eşleştirmesinden kuşku duyulmasının sebebi de budur. Fotoğraf kütüğünü elle ayıklamak için gerçekten yararlıdır; ama neredeyse aynı on kare, dokuz yinelenen değil, on farklı fotoğraftır ve hangi karede gözlerin açık olduğunu hiçbir algoritma bilmez.

Ayakta kalabilen tek tanım bayt bayt aynı olmaktır. İki dosya; ad, klasör, zaman damgası ya da uzantıdan bağımsız olarak içerikleri özdeşse yinelenendir. Bu, bir özetin yanıt verdiği bir sorudur ve özet her seferinde aynı şekilde yanıt verir.

İçerik özetleme nasıl çalışır ve neden hızlıdır

Kriptografik bir özet, her dosyayı sabit uzunlukta bir parmak izine indirger — SHA-256 için 64 onaltılık karakter. Özdeş içerik her zaman özdeş parmak izi üretir ve pratik amaçlar için iki farklı dosya asla çakışmaz. Parmak izlerini karşılaştırmak bu yüzden bütün dosyaları karşılaştırmanın güvenilir bir yerine geçer ve binlerce dosyayı çift çift değil, topluca birbiriyle karşılaştırmanıza izin verir.

Her şeyi özetlemek, sürücüdeki her baytı okumak demek olurdu; dolayısıyla yetkin bir uygulama aşamalarla çalışır. Önce dosyaları tam boyuta göre kümeler — farklı boyuttaki dosyalar özdeş olamayacağı için bu adım tek başına, hiç içerik okumadan adayların ezici çoğunluğunu eler. Sonra, çok dosyalı kümelerde kalan dosyaların yalnızca küçük bir ön bölümünü özetler. O turdan sağ çıkanlar tam bir SHA-256 alır. Tipik bir sürücüde, tam okuma aşaması verinin yalnızca küçük bir kesitine dokunarak biter.

Bu aşamalama, bir taramanın nasıl hissettirmesi gerektiğini de açıklar. Birkaç yüz bin dosya üzerindeki ilk geçiş çoğunlukla üst veri işidir ve dakikalar içinde biter; yavaş olan kısım, gerçekten aynı boyutu paylaşan büyük video dosyalarının son özetlemesidir. Bir araç saatler sürüyor ve içerikle karşılaştırma yaptığını iddia ederken diski çivilmişse, muhtemelen her şeyi ayırt etmeden özetliyordur.

PowerShell ile elle yapmak

Hedefli bir kontrol için hiçbir yazılıma ihtiyacınız yok. Aşağıdaki tek satırlık komut, dosyaları uzunluklarına göre kümelere ayırır, tekil boyları eler, kalanı SHA-256 ile özetler ve yalnızca birden fazla dosyanın aynı özeti paylaştığı kümeleri yazdırır. Belirli bir klasöre çevirin — bütün bir sürücü de çalışır ama vakit alır.

• Get-ChildItem -Path 'C:\Users\You\Pictures' -Recurse -File | Group-Object Length | Where-Object { $_.Count -gt 1 } | ForEach-Object { $_.Group } | Get-FileHash -Algorithm SHA256 | Group-Object Hash | Where-Object { $_.Count -gt 1 } | ForEach-Object { $_.Group.Path }
• Tek bir dosya türüyle sınırlamak için Get-ChildItem'e -Filter '*.jpg' ekleyin
• Listeyi sonradan incelemek için sonuna | Out-File C:\Temp\dupes.txt ekleyin
• Windows Terminal ya da PowerShell'de çalıştırın; kendi klasörleriniz için yönetici hakkı gerekmez
• Çok büyük bir video kütüğünü daha hızlı özetlemek istiyorsanız Get-FileHash -Algorithm SHA1 kullanın

Herhangi bir şeyi silmeden önce çıktıyı okuyun

Yukarıdaki komut bilerek yolları yazdırır ve hiçbir şey silmez. Bu ayrım, güvenlik modelinin tamamıdır: bir liste üretin, okuyun, sonra harekete geçin. Çıktıyı klasöre göre sıralayın ve deseni genellikle hemen göreceksiniz — tarihli bir yedek klasörüne kopyalanmış bir kamera içe aktarma klasörü, iki kez dışa aktarılmış bir proje, hem Müzik'te hem de C:'e yapıştırılmış eski bir harici disk kopyasında duran bir müzik kütüphanesi.

Sileceğiniz zaman kalıcı olarak değil Geri Dönüşüm Kutusu'na silin ve arada makineyi normal biçimde kullanmak için mola verdiğiniz küçük partilerle yapın. Yinelenen temizliğindeki başarısızlık kipi hiçbir zaman tek bir yanlış dosya değildir; ilişkisini kavramadığınız klasörler arasında kendinden emin bir toplu seçimdir. Geri Dönüşüm Kutusu'nu döngüde tutmak, pahalı bir hatayı sıradan bir zahmete çevirir.

Yinelenenler gerçekte nerede yığılır

Gerçek yinelenenler az sayıda öngörülebilir yerde yoğunlaşır ve yalnızca oralara taramak, C:'i bütün olarak taramaktan hem daha hızlı hem çok daha güvenlidir. Şampiyon İndirilenler'dir: aynı yükleyici ya da PDF üç kez indirilmiştir ve her biri numaralı bir ek taşır. Fotoğraf klasörleri ikinci sıradadır; genellikle bir telefon içe aktarımı iki kez çalıştığı ya da bir bellek kartı, yeniden adlandırmadan önce ve sonra kopyalandığı için.

• İndirilenler — (1), (2) ekli yinelenen indirmeler
• Resimler ve telefon içe aktarma klasörleri — birden çok kez çalışan içe aktarma
• Bulut klasörleri — cihaz adı eklenmiş OneDrive ve Dropbox çakışma kopyaları
• Masaüstü ve Windows yeniden kurulduktan kalma “eski masaüstü” klasörleri
• Mesajlaşma ortam klasörleri — birkaç sohbetçe kaydedilen aynı görsel
• Proje dışa aktarma klasörleri — defalarca dışa aktarılan render'lar ve derlemeler
• C:'teki bir klasöre bütün olarak kopyalanmış eski bir harici sürücü

Asla yinelenenlerden arındırılmaması gerekenler

Yazılım kurulumlarının içindeki yinelenen içerik normal ve kasıtlıdır. Birçok uygulama, aynı çalışma zamanı kitaplığını bilerek birkaç klasöre koyar; böylece her biri, sınandığı bir sürümü yükler. Bir kopyayı yalnızca bir başkasıyla eşleştiği için silmek, sorunsuz açılan ama aylar sonra belirli bir özellikte çöken bir uygulamanın tarifi işte budur. Aynı mantık, oyun varlık paketlerine ve özdeş bağımlılıkların birçok proje alt klasöründe göründüğü geliştirme klasörlerine de uygulanır.

Windows'un kendisi en keskin kenardır. C:\Windows\WinSxS, yinelenen görünen ama diskteki aynı veriyi işaret eden sabit bağlantılarla doludur; dolayısıyla saf bir tarayıcı, silindiklerinde hiç alan açmayan ve silindiklerinde bakımı bozan gigabaytlarca “yinelenen” raporlar. Her yinelenen taramasını kendi veri klasörlerinizle sınırlayın; sistem klasörlerini taramayı öneren bir araç gördüğünüzde ise araç değiştirmeyi düşünün.

• C:\Windows ve altındaki her şey — her şeyden önce WinSxS
• C:\Program Files ve C:\Program Files (x86)
• %APPDATA% ve %LOCALAPPDATA% — uygulama durumu ve profilleri
• C:\ProgramData — lisanslar ve uygulama veritabanları
• Oyun kurulum klasörleri ve başlatıcı içerik dizinleri
• Geliştirme klasörleri: node_modules, vendor, sanal ortamlar, derleme çıktısı
• Tek kullanıcısı olmadığınız bir sürücüdeki her şey

Hangi kopya kalacak: seçim ve tuzaklar

Bir kümenin özdeş olduğu doğrulandığında, kalacak kopya, ilk bakacağınız konumdaki olmalıdır; bu genellikle yedek klasörü, İndirilenler kopyası ya da Masaüstü'ndeki değil, özgün klasördür. En kısa ve en anlamlı adlı yolu tercih edin. Bir kopya eşitlenen bir bulut klasöründeyse ve diğeri değilse, eşitleneni yalnızca o klasör gerçekten çalışma konumunuzsa tutun — aksi hâlde tek kopyanızı, eşitlemesini ileride sıfırlayabileceğiniz bir hizmete teslim etmiş olursunuz.

Üç tuzak adlandırılmayı hak ediyor. Sabit bağlı dosyalar, aynı veriyi paylaşan ayrı yollar olarak görünür; birini silmek hiç alan açmaz ve diğeri çalışmayı sürdürür — zararsız ama raporlanan tasarruf hiç gelmediğinde kafa karıştırıcıdır. OneDrive'ın İsteğe Bağlı Dosyaları altındaki bulut yer tutucu dosyaları yerel olarak hiç bulunmayabilir ve onları özetlemek, bütün klasörün indirilmesini dayatır. Ve başka bir şeyin yönettiği bir klasördeki dosyalar — bir yedek kümesi, bir depo, bir oyun kütüphanesi — yalnızca dosya sisteminin bakış açısından yinelenendir; onlara sahip olan program ikisini de beklemektedir.

Bu iş akışının tekrarlanabilir hâli için Kleaner PRO'nun yinelenen dosya bulucusu ada değil SHA-256'ya göre karşılaştırır, sistem ve program klasörlerini varsayılan olarak dışarıda tutar, eşleşmeleri tam yollarıyla kümeleyip herhangi bir şey kaldırılmadan önce kalacak kopyayı seçmenize izin verir. Yukarıdaki PowerShell yolu tek bir klasör için aynı işi yapar ve yalnızca tek bir yeri kontrol etmek istediğinizde doğru araçtır.

Sorular ve yanıtlar

Bunları da okuyun

Tüm yazılar · SSS