Facebook açık kaynak dünyasına bir sıkıştırma bir de depolama algoritmasını hediye etti. Amerika Birleşik Devletleri’nin San Jose şehrindeki Facebook’un @Scale konferansında duyurusu yapılan iki algoritma tamamen açık kaynak olarak sunuldu.
Facebook’un ZSstandard adlı algoritması kayıpsız veri sıkıştırma ile ilgili. Zstandard’ın amacı, usun süredir kullanılan ve artık güncelliğini yitirmiş Deflate sıkıştırma algoritması kullanan zlib’in yerini alabilmek. zlib, 1951’de geliştirilen Huffman kodu ile LZ77 algoritmasının bir birleşimi oluyor. 1995’ten beri kullanılan zlib en son 2013 yılında güncellendi ve son 3 yıldır da herhangi bir güncellemesi olmadı.
Zstandard ile zlib aynı sıkıştırma oranını kullandıklarında, Zstandard 5 kat daha hızlı veri sıkıştırma yapabiliyor. Aynı süre boyunca sıkıştırma yaptıklarında ise Zstandard yüzde 10 daha fazla veri sıkıştırması yapabiliyor. Zstandard kayıpsız bir sıkıştırma algoritması olduğu için özellikle ses, fotoğraf ve video dosyalarında çok iyi sonuçlar veriyor.
Facebook “dükkan garantisi” veriyor
Ancak zlib yerine Zstandard kullanmaya başlamak kritik altyapı değişikliklerini de beraberinde getiriyor ki, mühendislerin en çok korktukları konu bu. Zstandard’ın kullanılmaya başlandığı bir sistemde bir terslik olursa bütün hizmet bir anda ve geri dönüşsüz olarak durabilir.
Ancak Facebook’un Altyapı Mühendisliği Başkan Yardımcısı Jay Parikh, Zstandard’ın şirketin her bölümünde kullanıldığını ve test edildikten sonra açık kaynak olarak yayınlandığını da bildiriyor. “Facebook’ta çalışan herkes bu ürünleri kullanıyor” derken, açık kaynak dünyasına ikinci hediyeleri olan MyRocks’tand a bahsediyor.
MyRocks, veri tabanları için geliştirilen bir depolama motoru. Facebook bu motoru MySQL veri tabanlarının başarımını artırmak için kullanıyor.
MyRocks’ın da açık kaynak olarak yayınlanması boşuna değil, zira en çok kullanılan hemcinslerinden InnoDB’ye göre ciddi başarım avantajarı sunuyor. En basitinden aynı orandaki veriyi yarı yarıya daha az sunucu alanında tutabiliyor. Yani bir bakıma iki kat daha fazla veri sıkıştırabiliyor.
Facebook’un bu teknolojileri açık kaynak olarak sunuyor olmasının sebebi, kendi üretimlerinin zaman içerisinde endüstri standardı haline dönüşmesini umuyor olması. Parikh, “Bunları açık kaynak olarak yayınlamak herkese fayda sağlıyor. Bir tek firmanın tekelindeki kapalı kaynak yazılımlardan ziyade, açık kaynak oldukları için çok daha hızlı yayılıp benimseneceğini düşünüyoruz” diyor.