Intel Vision etkinliğinde Intel, popüler büyük dil modelleri (LLM) ve çoklu modlu modeller üzerinde yapay zeka eğitimi ve çıkarımı için önceki nesline kıyasla 4 kat yapay zeka hesaplama gücü, 1,5 kat daha fazla bellek bant genişliği ve sistem ölçeklendirmesi için 2 kat ağ bant genişliği sunan Intel® Gaudi® 3 AI hızlandırıcısını tanıttı.
Intel® Gaudi® 3 AI hızlandırıcısı performans ve üretkenlikte önemli bir sıçrama anlamına geliyor. Intel, sistemlerini daha esnek bir şekilde ölçeklendirmek isteyen müşterilere, açık topluluk tabanlı yazılım ve endüstri standardı Ethernet ağ ile de bir seçenek sunuyor.
Intel veri merkezi ve AI Grubu’nun icra başkan yardımcısı ve genel müdürü Justin Hotard, “Sürekli gelişen AI piyasasının manzarasında, mevcut tekliflerde önemli bir boşluk sürüyor. Müşterilerimizden ve daha geniş pazardan aldığımız geri bildirimler, artan seçim ihtiyacını vurguluyor. Kuruluşlar, erişilebilirlik, ölçeklenebilirlik, performans, maliyet ve enerji verimliliği gibi hususları değerlendiriyor. Intel Gaudi 3, fiyat performansı, sistem ölçeklenebilirliği ve değere ulaşma avantajı açısından dikkat çekici bir Üretken Yapay Zeka alternatifi olarak öne çıkıyor” dedi.
Üretken Yapay Zeka deneysel olmaktan çıkacak
Günümüzde, finans, imalat ve sağlık gibi kritik sektörlerdeki işletmeler, AI’ye erişimi genişletmeyi hızla arzuluyor ve Üretken Yapay Zeka projelerini deneysel aşamalardan tam ölçekli uygulamaya geçirmeye çalışıyor. Bu geçişi yönetmek, inovasyonu teşvik etmek ve gelir büyüme hedeflerini gerçekleştirmek için işletmeler, yatırım getirisine (ROI) ve operasyonel verimlilik ihtiyaçlarını karşılayan açık, maliyet etkin ve daha enerji verimli çözümlere ve ürünlere ihtiyaç duyuyor. Intel Gaudi 3 hızlandırıcısı, işletmelerin AI sistemlerini ve uygulamalarını esnek bir şekilde ölçeklendirmelerine yardımcı olacak açık topluluk tabanlı yazılım ve açık endüstri standardı Ethernet aracılığıyla bu gereksinimleri karşılayacak ve çok yönlülük sunacak.
Büyük ölçekli AI hesaplama için tasarlanmış Intel Gaudi 3 hızlandırıcısı, 5 nanometre (nm) üretiliyor ve bir önceki sürüme göre önemli ilerlemeler sunuyor. Hızlandırıcı, Matrix Çarpım Motoru (MME), Tensor İşlemci Çekirdekleri (TPCs) ve Ağ Arayüz Kartları (NICs) dahil olmak üzere tüm motorların paralel olarak etkinleştirilmesini sağlayacak şekilde tasarlandığından dolayı hızlı, verimli derin öğrenme hesaplaması ve ölçeklendirme için gerekli hızlandırmayı sağlıyor.
LLM Kapasite Gereksinimleri için Bellek artırılıyor
128 gigabayt (GB) HBMe2 bellek kapasitesi, 3,7 terabayt (TB) bellek bant genişliği ve 96 megabayt (MB) yerleşik statik rastgele erişim belleği (SRAM) büyük Üretken Yapay Zeka veri kümelerini daha az Intel Gaudi 3 ile işlemek, özellikle büyük dil ve çoklu modlu modelleri hizmete sunarken iş yükü performansını ve veri merkezi maliyet verimliliğini artırıyor.
Her Intel Gaudi 3 hızlandırıcısına entegre edilen yirmi dört 200 gigabit (Gb) Ethernet portu, esnek ve açık standart ağ sağlar. Büyük hesaplama kümelerini desteklemek için verimli ölçeklendirmeyi sağlıyor. Intel Gaudi 3 hızlandırıcısı, Üretken Yapay Zeka modellerinin geniş gereksinimlerini karşılamak için tek bir düğümden binlercesine kadar verimli bir şekilde ölçeklendirilmek üzere tasarlandı.
Açık Endüstri Yazılımı
Intel Gaudi yazılımı, PyTorch çerçevesini entegre ediyor ve optimize edilmiş Hugging Face topluluk tabanlı modelleri sağlıyor. Bu, Üretken Yapay Zeka geliştiricilerin kullanım kolaylığı ve üretkenlik için yüksek soyutlama seviyesinde çalışmalarını sağlıyor ve model taşıma işlemlerini donanım türleri arasında kolaylaştırıyor.
Ürün serisine yeni eklenen Gaudi 3 PCIe eklenti kartı daha düşük güç ile yüksek verimlilik sunmak üzere üretiliyor. Bu yeni form faktörü ince ayarlama, çıkarım ve geri çağırma-augmente edilmiş üretim (RAG) gibi iş yükleri için ideal olarak kabul ediliyor. 600 watt ile çalışan kartın bellek kapasitesi 128GB ve bant genişliği saniyede 3,7TB.
Nvidia H100’den daha hızlı
Intel Gaudi 3 hızlandırıcısı, önde gelen Üretken Yapay Zeka modellerinde eğitim ve çıkarım görevleri için önemli performans iyileştirmeleri sağlıyor. Intel Gaudi 3 hızlandırıcısı, Nvidia H100’e kıyasla Llama2 7B ve 13B parametreleri ve GPT-3 175B parametre modelleri arasında %50 daha hızlı eğitim süresi, Llama 7B ve 70B parametreleri ve Falcon 180B parametre modellerinde %50 daha hızlı çıkarım verimliliği ve %40 daha fazla çıkarım enerji verimliliği sağlıyor.
2024’ün ikinci çeyreğinde kullanımı başlıyor
Pazar Kabulü ve Kullanılabilirlik Hakkında: Intel Gaudi 3 hızlandırıcısı, 2024’ün ikinci çeyreğinde Universal Baseboard ve açık hızlandırıcı modülü (OAM) endüstri standardı yapılandırmalarında orijinal ekipman üreticilerine (OEM) sunulacak. Gaudi 3’ü pazara sunacak dikkate değer OEM benimseyenler arasında Dell Technologies, HPE, Lenovo ve Supermicro bulunuyor. Intel Gaudi 3 hızlandırıcılarının genel kullanılabilirliği 2024’ün üçüncü çeyreği için hedefleniyor. Intel Gaudi 3 PCIe eklenti kartı ise 2024’ün son çeyreğinde kullanılabilir olacak.
