Revolutionizing Data Centers with AMD Accelerators

Operateri u oblaku specijalizirani za upravljanje energetski intenzivnim grafičkim procesorima (GPU) i drugom infrastrukturom umjetne inteligencije sve više se okreću AMD akceleratorima umjesto Nvidia ponuda.

Jedan takav operater, TensorWave, nedavno je počeo integrirati sustave s novim AMD Instinct MI300X akceleratorima. Tvrtka planira iznajmljivati te čipove po nižim cijenama u usporedbi s Nvidia akceleratorima.

Najnovije AMD akceleratori privukli su značajan interes zbog svojih prednosti. Lako su dostupni za kupnju u usporedbi s konkurentskim Nvidia proizvodima, pružajući tvrtki TensorWave pristup velikoj količini putem njihovih pregovaračkih vještina.

Do kraja 2024., TensorWave planira instalirati 20.000 MI300X akceleratora u svoja dva objekta. Osim toga, tvrtka planira uvesti sustave sa tekućim hlađenjem iduće godine za poboljšanu izvedbu.

AMD integrirani krugovi također su brži od vrlo traženog Nvidia H100. MI300X nadmašuje H100 po specifikacijama, hvaleći se većim kapacitetom memorije i protokom podataka. Predstavljen je tijekom AMD-ove događanja Advancing AI u prosincu 2024. i navodno je 32% brži od Nvidia H100.

U usporedbi s natjecateljskim H100, AMD čip ima veći kapacitet memorije HBM3 od 192 GB, omogućujući protok podataka od 5,3 TB/s. Nasuprot tome, H100 ima kapacitet memorije od 80 GB i protok od 3,35 TB/s.

I dok AMD akceleratori postaju popularniji, neki korisnici ipak dovode u pitanje njihovu izvedbu u usporedbi s Nvidia proizvodima. TensorWave planira implementirati čvorove MI300X koristeći RoCE (RDMA preko konvergirane Ethernet) tehnologije kako bi ubrzao procese implementacije.

Dugoročni planovi za TensorWave uključuju implementaciju naprednijeg rješenja za upravljanje resursima, povezivanje do 5.750 GPU-ova i petabajta visokoprotočne memorije koristeći GigaIO-ovu PCIe 5.0 baziranu FabreX tehnologiju. Ovaj projekt bit će financiran putem osiguranog kredita za GPU akceleratore, metode koju koriste i druge tvrtke u podatkovnim centrima.

Slične inicijative poduzimaju i drugi igrači u industriji, pri čemu Lambda osigurava kredit od 500 milijuna dolara, a CoreWeave dobiva 2,3 milijarde dolara za proširenje infrastrukture. TensorWave namjerava kasnije ove godine objaviti slične vijesti.

Za više informacija o AMD akceleratorima i njihovoj primjeni u umjetnoj inteligenciji, posjetite web stranicu AMD.