Nvidia, H200 AI süper çipini piyasaya sürüyor: 141 GB son teknoloji HBM3e bellekle eşleştirilen ilk çip

Üretken yapay zeka yarışı herhangi bir yavaşlama belirtisi göstermiyor ve Nvidia, yeni bir yapay zeka süper çipi olan H200 Tensor Core GPU'yu piyasaya sürerek bundan tam anlamıyla yararlanmak istiyor. Önceki modelle karşılaştırıldığında en büyük gelişme, daha yüksek yoğunluk ve daha yüksek bellek bant genişliği sağlayan HBM3e belleğin kullanılmasıdır; her ikisi de ChatGPT ve Google Bard gibi hizmetlerin hızının artırılmasında önemli faktörlerdir.

Nvidia bu hafta yapay zeka iş yükleri için yeni bir canavar işleme birimi olan HGX H200'ü tanıttı . Adından da anlaşılacağı gibi, yeni çip , 2022'de üretken yapay zeka heyecanı hızlanmaya başladığında piyasaya sürülen son derece popüler H100 Tensor Core GPU'nun halefidir .

Team Green, Denver, Colorado'daki Supercomputing 2023 konferansında yeni platformu duyurdu. Hopper mimarisini temel alan H200'ün, 70 milyar parametreye sahip büyük bir dil modeli (LLM) olan Llama 2'de H100'ün neredeyse iki katı çıkarım hızı sunması bekleniyor. H200 ayrıca 175 milyar parametreye sahip GPT-3 modelini kullanırken yaklaşık 1,6 kat daha fazla çıkarım hızı sağlar.

Bu performans iyileştirmelerinin bir kısmı mimari iyileştirmelerden kaynaklandı ancak Nvidia, yazılım cephesinde de kapsamlı optimizasyon çalışmaları yaptığını söylüyor. Bu , üretken yapay zeka için en yeni LLM'leri kullanırken sekiz kata kadar daha fazla performans ve altı kata kadar daha düşük enerji tüketimi sağlayabilen TensorRT-LLM gibi açık kaynaklı yazılım kitaplıklarının son sürümüne de yansıyor .

H200 platformunun bir başka öne çıkan özelliği de, daha gelişmiş bir özellik olan HBM3e belleği kullanan ilk platform olmasıdır . Yeni Tensor Core GPU'nun toplam bellek bant genişliği saniyede 4,8 terabayt gibi muazzam bir değere sahip; bu, H100'ün bellek alt sistemi tarafından elde edilen saniyede 3,35 terabayttan biraz daha hızlı. Toplam bellek kapasitesi de H100'de 80 GB'den H200 platformunda 141 GB'a yükseldi.

Nvidia, H200'ün H100 GPU'yu destekleyen aynı sistemlerle uyumlu olacak şekilde tasarlandığını söylüyor. Bununla birlikte H200, dört veya sekiz yollu konfigürasyonlara sahip HGX H200 sunucu anakartları veya güçlü 72 çekirdekli Arm tabanlı CPU ile eşleşeceği GH200 Grace Hopper Superchip gibi çeşitli form faktörlerinde mevcut olacak. pano. GH200, derin öğrenme uygulamaları için 1,1 terabayta kadar toplam yüksek bant genişlikli belleğe ve 32 petaflop FP8 performansına izin verecektir.

Tıpkı H100 GPU gibi, yeni Hopper süper çipi de yüksek talep görecek ve göz yaşartıcı bir fiyata sahip olacak. Tek bir H100, sipariş hacmine bağlı olarak tahmini olarak 25.000 ila 40.000 ABD Doları arasında satılıyor ve yapay zeka alanındaki birçok şirket, binlercesini satın alıyor. Bu, küçük şirketleri Nvidia'nın AI GPU'larına sınırlı erişim elde etmek için ortaklık kurmaya zorluyor ve teslimat süreleri zaman geçtikçe daha da kısalacak gibi görünmüyor.

Teslimat sürelerinden bahsetmişken, Nvidia satılan her H100'den büyük bir kar elde ediyor , hatta üretimin bir kısmını RTX 40 serisinden daha fazla Hopper GPU üretmeye kaydırdı. Nvidia'dan Kristin Uchiyama, şirketin sürekli olarak daha fazla üretim kapasitesi eklemeye çalıştığı için tedarikin sorun olmayacağını söyledi ancak konuyla ilgili daha fazla ayrıntı vermeyi reddetti.

Kesin olan bir şey var ki; Hopper çiplerinin satışları gelirlerinin giderek daha büyük bir bölümünü oluşturduğundan Team Green, yapay zeka odaklı GPU'ların satışıyla daha fazla ilgileniyor . Hatta ABD ihracat kontrollerini aşmak ve bunları Çinli teknoloji devlerine göndermek için A100 ve H100 çiplerinin kısaltılmış versiyonlarını geliştirmek ve üretmek için büyük çaba harcıyor . Bu, yaklaşan RTX 4000 Super grafik kartları hakkında fazla heyecanlanmayı zorlaştırıyor çünkü kullanılabilirlik, perakende fiyatlarına büyük katkı sağlayan bir faktör olacak.

Microsoft Azure, Google Cloud, Amazon Web Services ve Oracle Cloud Infrastructure, 2024'ün 2. çeyreğinden itibaren H200 tabanlı örneklere erişim sunan ilk bulut sağlayıcıları olacak.