Veri analizi tuzakları: Geri besleme

Veri analizi giderek önemi artan ve bazen gereğinden fazla ilgi duyulan, çoğu zaman da gereken değer verilmeyen bir alan.

Denk geldiğim ilginç bir bilgi üzerinden veri analizinde düşülebilen tuzaklardan birine dikkat çekmek istiyorum.

Konu Google Flu Trends. Google grip salgınlarının daha erken ve iyi tahmin edilebilmesi için bir çalışma yapmış. İnsanların griple ilgili yaptıkları aramalardaki trendleri esas almışlar ve bam: Girip salgınları, detaylı çalışmalarla ve büyük maliyetlerle elde edilebilen saha analizlerinden daha başarılı bir şekilde raporlanabilir hale gelmiş.

Peki, geri besleme işi bu işin neresinde? Sistem 2013 yılında grip salgınlarıyla ilgili gerçekleşenden daha şiddetli ve yaygın bir tahmin yapmış! Google’un kullandığı bu yöntem kamuoyunun ilgisini haberler ve benzeri unsurlarla çekince, insanlar bu tür aramaları artırmışlar. Aslında griple ilgili daha fazla tedirgin oldukları için değil ama Google’ın çalışmasıyla ilgili meraktan. Dolayısıyla yapılan analizin oluşturduğu geri besleme sistemin kendisinde değişiklik yaptığı için analiz hatalı duruma düşmüş. (Muhtemelen bu durum geçici bir dönem için geçerli bir sapma olmuştur. Ya da Google bu etkiyi de dikkate alarak verisini normalize edip sonraki dönemler için daha sağlıklı hale getirmiş olabilir.)

Bu durum yaygın bir sorun. Veri analizi yaparak bunun sonucunda birtakım kararlar alan ya da alınmasına yardımcı olan her kişinin geri besleme etkisini dikkate alarak analizde sürekliliğe önem vermesi gerekir.

Birkaç örneğini daha verecek olursak:

Borsa alış satış programları, zarara limit koymanın önemini otomasyona sokar. Böylelikle insan psikolojisiyle ertelenip duracak satışlar yerine, kişiler pozisyonu açarken ya da taşırken kendilerine stop loss limitleri koyarlar. Bu sayede önceden göze aldıkları zararlarla pozisyonlarını kapatabilirler.

Gayet güzel görünüyor ve bir müddet başarılı bir şekilde yürümüş de olabilir. Peki, sizce yaygınlaşınca etkisi nasıl olur? Düşünün: Pek çok kişi pozisyonlarıyla ilgili bu stop loss’ları koymuş durumda ve bir gün beklenmedik ufak bir etkiyle beklentilerin biraz üzerinde bir düşüş gerçekleşiyor. O da ne! Daha temkinli olan kişilerin stop loss’ları hızla devreye giriyor. Çünkü zaten bir hayli yakın limitlerdeler. Bu satışlar zaten hafif düşmüş piyasaya girince fiyatlar biraz daha düşüyor. Ve birkaç kademe aşağıdaki stop loss emirleri devreye giriyor. Ve saire, ve saire… Sonuçta gerçekçi hiçbir sebep yokken, borsa tarihin en büyük tek gün düşüşlerinden birini yaşıyor.

Veri analizi sonucu alınan kararla oluşturulan bir koruma sistemi, genel sistemi değiştirdiği için beklenenden farklı bir etki yapmış oldu. Aslında bu sistemi kullananlar yeterince azınlıkta kalmış olsalar gayet güzel bir araçtan yararlanmış olacaklardı. Ama aracın kullanımı yaygınlaştı.

Belirsizlik üzerine kurulu her sistemde, daha iyi tahminlemeyi sağlayan araçlar benzer bir etki yaparlar.

Belirsizlik üzerine kurulu her sistemde, daha iyi tahminlemeyi sağlayan araçlar benzer bir etki yaparlar. Riski azaltan birtakım yöntemler bulursanız kâr edersiniz. Bu yöntemler yaygınlaşırsa sistemi değiştirerek artık işe yaramaz hale gelirler ya da sistemi çökertebilirler.

Sigorta sistemini düşünün. Riskleri yüzde yüz isabetle tahmin edecek algoritmalar geliştirilebilecek olsa, sigortacılık sistemi toptan çökerdi.

Borsada da benzer bir durum var. Hisse fiyatlarını yüzde yüz isabetle geleceğe yönelik tahmin edebiliyor olsak alım satımlar büyük ölçüde dururdu.

Veri analizinin sonuçlarında oluşturulan karar ve eylemlerin veri kümesine nasıl etki ettiğini dikkate alarak analiz çalışmanızı güncellemiyorsanız, büyük bir belaya hızla yaklaşıyor olabilirsiniz.