Google Cloud Unveils Axion Processors and Collaborates with Nvidia for AI Software Services
Google Cloud has recently announced the launch of its new Axion processors, which are based on Arm’s Neoverse V2 design and built on the ARMv9 architecture. While Arm designs chips, licensees such as Apple, Qualcomm, and Ampere customize the designs to create their own products.
Although Google has not provided specific details about speeds, fees, and cores, the company claims that Axion processors will deliver instances with up to 30% better performance compared to existing general-purpose Arm-based instances available on the cloud. Additionally, Axion processors are expected to offer up to 50% better performance and 60% better energy efficiency than the current-generation x86-based instances.
What sets Axion apart is its utilization of Titanium, a system developed by Google that includes purpose-built custom silicon microcontrollers and tiered scale-out offloads. This allows Axion processors to offload operations like networking and security, enabling them to focus on computational workloads. Similar to how SuperNIC offloads networking traffic from the CPU, Titanium enhances the efficiency and performance of Axion processors.
While Axion processors are still in the preview stage, Google expects to make virtual machines based on these processors available in the coming months.
In other news, Google Cloud has collaborated with Nvidia to enhance its AI software services. The Gemma suite, which consists of open models based on Google’s Gemini generative AI service, has been optimized for performance acceleration using Nvidia’s TensorRT-LLM, an open-source library for optimizing LLM inference.
Furthermore, Google Cloud has made it easier for developers to utilize Nvidia’s NeMo framework for building custom generative AI applications across its platform. By integrating NeMo with Google’s GKE Kubernetes engine and Google Cloud HPC Toolkit, developers can rapidly deploy turnkey AI products and streamline the development process.
With the introduction of Axion processors and the collaboration with Nvidia, Google Cloud is aiming to provide more powerful and efficient infrastructure for cloud-based computing and AI services.
Google Cloud (Google Chmura) niedawno ogłosił wprowadzenie nowych procesorów Axion, które są oparte na projektach Neoverse V2 firmy Arm i zbudowane na architekturze ARMv9. Podczas gdy Arm projektuje układy scalone, licencjobiorcy tak jak Apple, Qualcomm i Ampere dostosowują projekty, aby stworzyć swoje własne produkty.
Choć Google nie podał szczegółowych informacji na temat prędkości, opłat i rdzeni, firma twierdzi, że procesory Axion dostarczą instancje o lepszej wydajności o 30% w porównaniu do istniejących instancji opartych na ogólnego przeznaczenia układach Arm dostępnych w chmurze. Ponadto oczekuje się, że procesory Axion oferują wydajność o 50% lepszą i efektywność energetyczną o 60% lepszą niż instancje oparte na generacji x86.
To, co wyróżnia procesory Axion, to wykorzystanie systemu Titanium, który został opracowany przez Google i obejmuje mikrokontrolery z dedykowanymi układami scalonymi oraz hierarchiczną skalowalność. Dzięki temu procesory Axion mogą przenosić operacje takie jak sieciowanie i zabezpieczenia, umożliwiając im skoncentrowanie się na obliczeniowych obciążeniach. Podobnie jak SuperNIC, który przenosi ruch sieciowy z procesora, Titanium zwiększa wydajność i efektywność procesorów Axion.
Procesory Axion nadal znajdują się w fazie wstępnej, ale Google planuje udostępnić maszyny wirtualne oparte na tych procesorach w nadchodzących miesiącach.
W innych wiadomościach, Google Cloud współpracuje z Nvidia dla wzmocnienia swoich usług oprogramowania AI. Pakiet Gemma, który składa się z otwartych modeli opartych na usłudze generatywnej AI firmy Google – Gemini, został zoptymalizowany dla przyspieszenia wydajności przy użyciu biblioteki TensorRT-LLM firmy Nvidia, biblioteki open-source do optymalizacji wnioskowania LLM.
Ponadto Google Cloud ułatwiło programistom korzystanie z ramki NeMo firmy Nvidia do budowania niestandardowych aplikacji generujących AI na całej platformie. Integrując NeMo z silnikiem Google do zarządzania kontenerami GKE i narzędziem Google Cloud HPC Toolkit, programiści mogą szybko wdrażać produkty AI na zamówienie i usprawniać proces rozwoju.
Wprowadzając procesory Axion i współpracując z Nvidia, Google Cloud dąży do zapewnienia bardziej wydajnej i potężniejszej infrastruktury do obliczeń w chmurze i usług AI.
