Bulut bilişim alanındaki sağlayıcılar (Amazon Web Hizmetleri (AWS), Google Cloud ve Microsoft Azure), üretken yapay zeka iş yükleri için optimize edilmiş GPU ve özel donanım örnekleri konusunda hiçbir eksiklik sunmuyor. Ancak en azından bazı model ve projeler için alternatif bulutlar daha ucuz olabilir ve daha iyi kullanılabilirlik sağlayabilir.
Alternatif bulut çözümleri için ilgi artıyor
CoreWeave’de, model eğitimi ve çıkarım için popüler bir seçim olan Nvidia A100 40GB kiralamanın maliyeti saat başına 2,39 ABD dolar. Bu da ayda 1.200 ABD dolarına denk geliyor. Azure’da aynı GPU’nun maliyeti saat başına 3,40 ABD doları veya ayda 2.482 ABD dolar. Google Cloud’da saat başına 3,67 ABD doları veya ayda 2.682 ABD dolar seviyesinde. Üretken yapay zeka iş yüklerinin genellikle GPU kümeleri üzerinde gerçekleştirildiği göz önüne alındığında, maliyet deltaları hızla büyüyor.
Gartner’ın bulut hizmetleri ve teknolojilerinden sorumlu başkan yardımcısı Sid Nag: “CoreWeave gibi şirketler, özel ‘hizmet olarak GPU’ bulut sağlayıcıları olarak adlandırdığımız bir pazara katılıyorlar. GPU’lara olan yüksek talep göz önüne alındığında, hiper ölçekleyicilere bir alternatif sunuyorlar; Nvidia GPU’larını alıp bu GPU’ları pazarlamak ve bunlara erişim için başka bir yol sağladı” dedi.
Nag, bazı büyük teknoloji firmalarının bile bilgi işlem kapasitesi zorluklarıyla karşılaştıklarında alternatif bulut sağlayıcılarına yönelmeye başladıklarına dikkat çekiyor. Geçtiğimiz Haziran ayında CNBC, Microsoft’un, ChatGPT’nin üreticisi ve yakın bir Microsoft ortağı olan OpenAI’nin üretken yapay zeka modellerini eğitmek için yeterli bilgi işlem gücüne sahip olmasını sağlamak amacıyla CoreWeave ile milyarlarca dolarlık bir anlaşma imzaladığını bildirdi. CoreWeave’in çiplerinin büyük bir kısmını sağlayan Nvidia, bunu belki de kaldıraç nedenlerinden dolayı arzu edilen bir trend olarak görüyor; bazı alternatif bulut sağlayıcılarına GPU’larına ayrıcalıklı erişim sağladığı söyleniyor.
Forrester’ın baş analisti Lee Sustar, CoreWeave gibi bulut satıcılarının kısmen, yerleşik sağlayıcıların uğraşmak zorunda olduğu altyapı “bagajına” sahip olmadıkları için başarılı olduklarını düşünüyor. Google, Microsoft ve AWS gibi yerleşik şirketlerin modelleri çalıştırmak ve eğitmek için özel donanım yatırımlarını artırması nedeniyle fiyatlandırma konusunda rekabet etmek ileride zorlu hale gelebilir.