Data Deduplication Nedir?

Data Deduplication Windows Server 2016 ile birlikte gelen bir rol hizmetidir. Bu hizmet ile veri bütünlüğünden ödün vermeden disk alanı üzerindeki veri yenilemelerini tanımlayarak ve kaldırarak disk üzerinde tekilleştirmeyi sağlar. Böylece verilerin disk üzerinde daha az alan kaplamasını sağlayarak aynı disk alanı üzerinde daha fazla veri depolanmasını sağlar.

Data deduplication’ın temel olarak sağladığı özellikler aşağıdaki gibidir.

• Kapasite optimizasyonu. Data deduplication ile daha az fiziksel alanda daha fazla veri depolaması sağlanır. Single-Instance Store veya NTFS Compression gibi özelliklerle karşılaştırıldığında daha fazla depolama verimliliği sağlar. Amaç dosyaları küçük değişken boyutlu (32 KB – 128 KB) parçalara bölmek ve yenilenen parçaları kaldırarak tekilleştirme sağlamaktır. Tekilleştirme işleminden sonra dosyalar bloklar halinde saklanır. Data Deduplication, genel dosya sunucularında 2:1, sanallaştırma verileri için 20:1’e kadar oranlarda verimlilik sağlar. Sık değişmeyen ve büyük miktarda veri içeren depolama alanlarında daha verimli çalışır.
• Performans. Windows Server 2012’de saniyede yaklaşık 20 MB,  Windows Server 2012 R2’de saniyede yaklaşık 50 MB veri işleme performansı Windows Server 2016’da Data deduplication teknolojisindeki gelişmeler sayesinde önemli ölçüde daha iyi performans gösterecek şekilde geliştirilmiştir. Windows Server 2016 üzerindeki Data Deduplication hizmeti, sunucudaki diğer hizmetleri etkilemeden aynı anda daha fazla işlemi paralel olarak çalıştırabilir. Sunucu iş yükleri üzerinde düşük CPU ve Ram kaynağı kullanır. Sunucu üzerindeki iş yükü yüksekse CPU ve RAM darboğazı oluşturmamak için tekilleştirme işlemi tamamen durdurulur. Tekilleştirme işleri istenildiği zaman çalıştırma ve dosya seçme gibi esnekliklere sahiptir.
• Güvenilirlik ve Veri Bütünlüğü. Sunucu üstünde Data Deduplication uygulandığında, checksum, consistency ve kimlik doğrulama teknolojileri kullanılarak veri bütünlüğü korunur. Verilerin bir şekilde bozulması durumunda onarılabilmesi veya en azından kurtarılabilmesi için tüm meta data ve en sık kullanılan veriler için yedeklilik sağlar.
• BranchCache ile Bant Genişliği Verimi. Şubeler arası branchcache kullanımında, aynı optimizasyon teknikleri uygulanarak WAN üzerinden gidip gelen verilere de uygulanır. Böylece hem daha hızlı dosya transferi hem de daha düşük bandwidth kullanılmış olur.
• Optimizasyon Yönetimi. Data deduplication, Server Manager ve PowerShell için yerleşik yönetim işlevlerine sahiptir.

Data Deduplication için Volume Gereksinimleri.

Data Deduplication rolünü yükledikten sonra, volume üzerinde tekilleştirmeyi uygulayabilirsiniz. Bunun için bazı gereksinimler gerekir.

• System Volume veya Boot Volume’lara uygulanamaz.
• MBR veya GUID Partion üzerinde NTFS veya ReFS Dosya sistemi ile biçimlendirilmiş volume’lara uygulabilir.
• Windows Server üzerindeki sabit disklere uygulanabilir. USB veya benzeri çıkarılabilir diskler üzerinde uygulanamaz.
• Fiber Channel, ISCSI SAN veya SAS Array gibi paylaşılan depolama alanları üzerindeki Volume’lara uygulanabilir.
• Genişletilmiş öznetliklere sahip dosyalar, şifrelenmiş dosyalar, 32 KB’dan küçük dosyalara uygulanamaz.
• Windows Client işletim sistemleri için kullanılamaz.

Data Deduplication Bileşenleri.

Data deduplication rol hizmeti birkaç bileşenden oluşur. Bu bileşenler aşağıdaki gibidir.

• Filter Driver. Bu bileşen yerel ve uzak I/O’yu izler ve çeşitli Job’lar ile etkileşim kurarak dosya sistemindeki veri parçalarını işler. Her Volume için bir Filter Driver vardır.
• Deduplication Service. Bu bileşen aşağıdaki 3 job’un denetimini gerçekleştirir.
  • Optimization. Birden çok job’dan oluşan işlemler ile Volume üzerinde veri tekilleştirme ilkelerine göre tekilleştirme ve sıkıştırma gerçekleşir. Veri bütünlüğü için Checksum doğrulaması ve metadata consistency kontrolü yapar. Verilere erişilirken veya tekilleştirme esnasında veri bozulması yaşanırsa, bozulma ilgili kayıtları log’lar. Dosya değişir veya tekilleştirme ilkesi gereksinimi karşılanırsa, yeniden optimizasyon işlemi gerçekleşir.
  • Garbage Colleciton. Volume üzerinde silinmiş veya artık ihtiyaç kalmayan veri parçalarını işleyerek temizleme işlemlerini yürütür. Bir veri silindiğinde veri hemen silinmez, temizleme işlemi haftada bir gerçekleştirilir. Eğer Volume üzerinde büyük miktarda bir veri sildiyseniz, disk üzerinde alan açmak için PowerShell ile bu Job’u tetikleyebilirsiniz.

• • Scrubbing. Veri bozulması ile ilgili logları analiz eder ve mümkünse onarır.

• Unoptimization. Tekilleştirme işlemini geri almak için Volume’daki tüm optimize edilmiş dosyalardaki tekilleştirme işlemini geri alır.

Data Deduplication rolü çalışan bir Windows Server 2016 üzerinde yazma performansı ile ilgili bir etkisi yoktur. Çünkü Windows Server 2016 işlem sonrası tekilleştirmeyi (Post-Process Deduplication) kullanır. Bu tekilleştirme tipinde sunucu boşta kaldığı veya iş yüklerinin en aza indiği zamanlarda arka planda tekilleştirme işlerini gerçekleştirerek, sunucu performans problemleriyle karşılaşmanızı en aza indirir. Tekilleştirilmiş verileri okurken küçük bir performans etkisi olmaktadır.