텐서웨이브의 AMD 인스턴트 MI300X 액셀러레이터 시스템 구축

그래픽 처리 유닛(GPUs) 및 다른 인공 지능 인프라를 관리하는 클라우드 오퍼레이터들은 점점 더 Nvidia의 제품 대신 AMD 액셀러레이터로 전환하고 있습니다.

한 예로, 텐서웨이브는 최근 AMD 인스턴트 MI300X 액셀러레이터를 탑재한 시스템을 통합하기 시작했습니다. 이 회사는 Nvidia의 액셀러레이터보다 낮은 가격에 이 칩을 임대할 계획이다.

AMD의 최신 액셀러레이터는 그들의 장점으로 큰 관심을 끌고 있습니다. 놀랍게도 Nvidia의 경쟁 제품보다 쉽게 구매할 수 있으며, 이를 통해 텐서웨이브는 협상 능력을 통해 대거의 양을 확보할 수 있습니다.

2024년 말까지, 텐서웨이브는 두 시설에 20,000개의 MI300X 액셀러레이터를 설치하는 것을 목표로 하고 있습니다. 게다가, 이 회사는 내년에 성능을 향상시키기 위해 액체 냉각 시스템을 도입할 계획이다.

AMD 통합 회로는 매우 인기가 높은 Nvidia H100보다 빠르며, MI300X는 사양에서 H100을 능가하며 더 높은 메모리 용량과 데이터 처리량을 자랑합니다. AMD의 Advancing AI 행사에서 공개되어 2024년 12월 Nvidia H100보다 32% 빠르다고 보고되었습니다.

라이벌인 H100과 비교하여 AMD 칩은 더 큰 192 GB HBM3 메모리 용량을 특징으로 하며, 5.3 TB/s 데이터 처리량을 가능하게 합니다. 이에 반해, H100은 80 GB의 메모리 용량과 3.35 TB/s의 처리량을 갖고 있습니다.

AMD 액셀러레이터가 인기를 얻는 동안, 일부 사용자는 여전히 Nvidia 제품과 비교했을 때 성능에 대한 의문을 제기합니다. 텐서웨이브는 AMD 액셀러레이터의 효율성을 평가하고 배포 프로세스를 가속화하기 위해 RoCE (RDMA over Converged Ethernet) 기술을 사용할 계획입니다.

텐서웨이브의 장기 계획은 GigaIO의 PCIe 5.0 기반 FabreX 기술을 사용하여 최대 5,750개의 GPU 및 페타바이트의 고 처리량 메모리를 연결하는 고급 자원 관리 솔루션을 구현하는 것입니다. 이 프로젝트는 다른 데이터 센터 회사들도 사용하는 방법으로 보증된 GPU 액셀러레이터 크레딧을 통해 자금 조달될 것입니다.

Lambda는 5억 달러의 크레딧을 확보하고 CoreWeave는 인프라 확장을 위해 23억 달러를 획득했습니다. TensorWave는 올해 나중에 이와 유사한 뉴스를 발표할 계획입니다.

인공 지능에서 AMD 액셀러레이터 및 그들의 응용 분야에 대한 자세한 정보는 AMD 웹사이트를 방문하십시오.