Nvidia, daha 5-6 yıl öncesine kadar son kullanıcı bilgisayarları, özellikle de oyun bilgisayarları için grafik işlemcisi (GPU) üreten büyük ama devasa sayılamayacak bir teknoloji şirketiydi. 2019 yılında yaklaşık 140 milyar dolar pazar büyüklüğü olan firma, bir yandan bulut bilişimdeki inanılmaz büyüme bir yandan da yapay zekâ çılgınlığı sayesinde inanılmaz bir değer kazandı ve şu anda 2,2 trilyon doları aşan pazar büyüklüğü ile Microsoft ve Apple’ın ardından dünyanın en değerli 3. şirketi konumuna ulaştı.
Firmanın 2009 yılından bu yana geliştiriciler ve iş ortaklarına yönelik düzenlediği GTC etkinliği de bu gelişmelerin ışığında yepyeni bir görünüm kazandı. Bu yıl 16.’sı düzenlenen etkinliğin açılışında konuşan Nvidia kurucusu ve CEO’su Jensen Huang, bir dizi çarpıcı yeniliği tanıttı. Bunların başında ise Blackwell B200 GPU çipi ve yeni yonga kümesi GB200 geliyor.
Nvidia, yeni B200 GPU’nun 208 milyar transistörüyle 20 petaflop’a kadar işlemci gücü sunduğunu söylüyor. Ayrıca, bu GPU’lardan ikisini tek bir Grace CPU ile birleştiren bir GB200 yonga kümesinin, LLM çıkarım iş yükleri için 30 kat daha fazla performans sunabileceğini ve aynı zamanda potansiyel olarak önemli ölçüde daha verimli olabileceğini söylüyor. Nvidia, bunun bir H100’e göre “maliyeti ve enerji tüketimini 25 kata kadar azalttığını” açıkladı.
Nvidia’nın iddiasına göre 1,8 trilyon parametreli bir modeli eğitmek için daha önce 8.000 Hopper GPU ve 15 megawatt güç gerekiyordu. Bugün ise Nvidia’nın CEO’su 2.000 Blackwell GPU’sunun bunu sadece 4 megawatt tüketerek yapabileceğini söylüyor. Nvidia ayrıca 175 milyar parametreli bir GPT-3 LLM kıyaslamasında, GB200’ün bir H100’den yedi kat daha fazla performansa sahip olduğunu ve Nvidia, eğitim hızının dört katını sunduğunu söylüyor.
Nvidia gazetecilere en önemli gelişmelerden birinin, her nöron için sekiz yerine dört bit kullanarak hesaplama, bant genişliği ve model boyutunu iki katına çıkaran ikinci nesil bir dönüştürücü motor olduğunu söyledi. İkinci önemli fark ise çok sayıda GPU’yu birbirine bağladığınızda ortaya çıkıyor: 576 GPU’nun saniyede 1,8 terabayt çift yönlü bant genişliğiyle birbiriyle konuşmasını sağlayan yeni nesil bir NVLink anahtarı.
Bunun için Nvidia’nın 50 milyar transistörlü ve kendi yerleşik işlemcisine sahip yepyeni bir ağ anahtarı yongası üretmesi gerekti: 3,6 teraflop FP8… Nvidia, daha önce sadece 16 GPU’dan oluşan bir kümenin zamanının yüzde 60’ını birbirleriyle iletişim kurarak ve sadece yüzde 40’ını gerçekten hesaplama yaparak geçirdiğini söylüyor. Konferansın açılışını ve CEO Jensen Huang’ın sunumunu aşağıda izleyebilirsiniz.
Nvidia elbette şirketlerin bu GPU’lardan büyük miktarlarda satın almasına güveniyor ve bunları, toplam 720 petaflop yapay zekâ eğitim performansı veya 1.440 petaflop (diğer adıyla 1,4 exaflop) çıkarım için 36 CPU ve 72 GPU’yu tek bir sıvı soğutmalı rafa yerleştiren GB200 NVL72 gibi daha büyük tasarımlarda paketliyor. Bu kurulumda 5.000 ayrı kablo ile yaklaşık 3,2 km kablo mevcut.
Raftaki her tepsi ya iki GB200 yongası ya da iki NVLink anahtarı içeriyor ve raf başına 18 adet ilkinden ve dokuz adet ikincisinden bulunuyor. Nvidia, bu raflardan birinin toplamda 27 trilyon parametreli bir modeli destekleyebileceğini söylüyor. GPT-4’ün yaklaşık 1,7 trilyon parametreli bir model olduğu düşünülürse, oluşturulan kurulumun hesapla gücü son derece muazzam.
Şirket, Amazon, Google, Microsoft ve Oracle’ın bulut hizmeti tekliflerinde NVL72 raflarını sunmayı planladıklarını söylüyor, ancak bu firmaların henüz kaç tane satın alacakları belli değil. Ve elbette Nvidia, şirketlere çözümün geri kalanını da sunmaktan mutluluk duyuyor. İşte toplam 288 CPU, 576 GPU, 240 TB bellek ve 11,5 exaflop FP4 hesaplama için sekiz sistemi bir araya getiren DGX GB200 için DGX Superpod.
Nvidia, sistemlerinin yeni Quantum-X800 InfiniBand (144 bağlantıya kadar) veya Spectrum-X800 ethernet (64 bağlantıya kadar) ile 800Gbps ağ ile birbirine bağlı on binlerce GB200 süper çipe ölçeklenebileceğini söylüyor.
Analistler, benchmark rakamlarını görmeden ve sahada, gerçek ve çalışan sistemler olmadan henüz kesin bir yargıya varılamayacağının altını çizse de, Nvidia için 2024’in son derece iyi başladığını ve giderek daha da iyi olacağını kestirmek zor değil.