Nvidia wchodzi do gry z generatywną sztuczną inteligencją opartą na demie

by John Nowacky
in *EN, News-PL, PC
on 13 lutego 2024

Nvidia postanowiła rzucić wyzwanie generatywnej sztucznej inteligencji poprzez wprowadzenie nowego dema technologicznego o nazwie Chat z RTX, które jest dostępne dla właścicieli nowych GPU Nvidia. Firma określa to jako „demo”, ponieważ jest wersją beta o numerze 0.2, ale daje nam wgląd w przyszłość „AI w urządzeniach”. Chat z RTX umożliwia uruchomienie czatbota bezpośrednio na komputerze, bez konieczności korzystania z „chmury” w celu uzyskania odpowiedniej mocy obliczeniowej i dostępu do modeli AI, tak jak w przypadku Microsoft Copilot. Głównymi korzyściami tej metody są znacznie szybsze czasy reakcji i zwiększone bezpieczeństwo danych. Jednakże, technologia ta jest wciąż w powijakach, więc korzyści są obecnie dość ograniczone. Nvidia udostępniła program Chat with RTX każejdemu, kto chciałby go wypróbować, więc potrzebujesz tylko GPU serii 40 lub 30, 8 GB pamięci systemowej i Windows 11. Nasza strona partnerska PCMag miała możliwość przetestowania go i zauważyła, że rozmiar pliku do pobrania wynosił około 35 GB. Wymaga on również 100 GB wolnego miejsca na dysku, co jest zbliżone do rozmiaru gry AAA. Instalacja trwa od 30 minut do godziny, więc warto zostawić ją bez nadzoru. Niejasne jest, dlaczego demo nie działa z GPU serii RTX 20, które mają odpowiednie rdzenie tensorowe. Może po prostu nie ma ich wystarczająco, ponieważ sztuczna inteligencja generatywna nie była popularna, kiedy te karty graficzne zostały wprowadzone na rynek sześć lat temu.

Chat with RTX można używać podobnie jak ChatGPT lub Copilot, z różnicą polegającą na szybszych odpowiedziach, ponieważ działa lokalnie na komputerze. Kredyty: Nvidia / PCMag

Biorąc pod uwagę status beta tego oprogramowania, nikt nie będzie zaskoczony tym, że pozwala tylko na dostęp do jednego dużego modelu językowego, którego Nvidia nazywa Mistral. Możesz przesyłać pytania do modelu, a on szybko na nie odpowiada, korzystając z głównej korzyści, jaką jest możliwość pobierania danych zarówno z internetu, jak i z wysyłanych przez ciebie złożonych dokumentów, w tym PDF-ów, a nawet filmów na YouTube. Nvidia twierdzi, że może również tłumaczyć języki, chociaż ta funkcjonalność wydaje się jeszcze nie istnieć. Ogólnie rzecz biorąc, PCMag twierdzi, że Chat with RTX działa podobnie jak ChatGPT, ale jest mniej rozbudowany. Na przykład, Chat with RTX pomija niektóre części zapytań, podczas gdy ChatGPT nie ma problemu z ich wykonaniem. Główną korzyścią obecnie wydaje się być sporządzanie podsumowań plików tekstowych (PDF, Doc, txt) i filmów na YouTube oraz odpowiadanie na pytania dotyczące zawartości tych plików lub linków. Bądźmy uczciwi, wszyscy kochamy dobrze opowiedzianą historię o GPU trwającą 18 minut, ale byłoby również miło mieć wersję tekstową (starsi miłośnicy, zjednoczcie się). Chat with RTX jest według doniesień doskonały w tworzeniu podsumowań filmów, ale wyniki były mieszanego zadowolenia, jeśli chodzi o plik PDF z wynikami testów GPU. PCMag twierdzi, że precyzyjnie podsumował film na YouTube i udzielił na niego odpowiedzi. Jednak, gdy otrzymał plik PDF, udzielał niewłaściwych odpowiedzi i nie rozumiał pytań uzupełniających. Na razie Chat with RTX wydaje się być narzędziem do eksperymentów, a Nvidia z pewnością wyprzedziła AMD w tym zakresie. Sztuczna inteligencja na urządzeniach była planowana na 2024 rok, i firma Nvidia zasługuje na uznanie za wyprzedzenie konkurencji. Niemniej jednak, mając na uwadze, że procesory od AMD i Intel są teraz wyposażone w jednostki przetwarzania neuronowego (NPU), musimy się zastanawiać, czy nie nadejdzie czas rywalizacji w naszych komputerach o to, który hardware będzie obsługiwał AI, którą chcemy używać. Szczerze mówiąc, już teraz jest to dość męczące.

Sekcja FAQ oparta na głównych tematach i informacjach przedstawionych w artykule:

Pytania i odpowiedzi dotyczące programu Chat z RTX:

Q: Co to jest Chat z RTX?
A: Chat z RTX to demo technologiczne wprowadzone przez firmę Nvidia, które umożliwia uruchomienie czatbota bezpośrednio na komputerze.

Q: Jakie są korzyści korzystania z Chat z RTX zamiast innych rozwiązań?
A: Głównymi korzyściami korzystania z Chat z RTX są znacznie szybsze czasy reakcji i zwiększone bezpieczeństwo danych. Ponadto, nie wymaga korzystania z chmury do uzyskania odpowiedniej mocy obliczeniowej i dostępu do modeli AI.

Q: Jakie są minimalne wymagania sprzętowe do uruchomienia programu Chat z RTX?
A: Aby korzystać z programu Chat with RTX, wymagane są GPU serii 40 lub 30, 8 GB pamięci systemowej i Windows 11.

Q: Jak długo trwa proces instalacji Chat z RTX?
A: Proces instalacji Chat z RTX trwa od 30 minut do godziny.

Q: Dlaczego demo nie działa z GPU serii RTX 20?
A: Nie jest jasne, dlaczego demo Chat z RTX nie działa z GPU serii RTX 20, ale możliwe, że te karty graficzne nie mają wystarczającej liczby rdzeni tensorowych.

Q: Jakie są główne funkcje programu Chat z RTX?
A: Główne funkcje programu Chat z RTX to możliwość zadawania pytań modelowi językowemu, pobieranie danych z internetu i złożonych dokumentów (np. PDF-ów, filmów na YouTube) oraz możliwość tworzenia podsumowań plików tekstowych i filmów.

Q: Jak Chat z RTX różni się od innych narzędzi, takich jak ChatGPT?
A: Chat z RTX działa lokalnie na komputerze, co powoduje szybsze odpowiedzi. Jednak może pomijać niektóre części zapytań, co nie jest problemem dla ChatGPT.

Q: Jakie są główne zastosowania Chat z RTX?
A: Obecnie głównym zastosowaniem Chat z RTX jest sporządzanie podsumowań plików tekstowych i filmów oraz odpowiadanie na pytania dotyczące ich zawartości.

Q: Czy Chat z RTX jest dostępny w pełnej wersji?
A: Chat z RTX jest obecnie w fazie beta, co oznacza, że ma ograniczoną funkcjonalność i dostęp tylko do jednego modelu językowego, którego Nvidia nazywa Mistral.

Q: Jakie są przewagi Chat z RTX nad konkurencją?
A: Chat z RTX jest narzędziem do eksperymentów, które Nvidia wprowadziła przed konkurencją. Jednak wobec coraz większej obecności jednostek przetwarzania neuronowego (NPU) w procesorach AMD i Intel musimy się zastanawiać, jakie będą kolejne kroki w obszarze obsługi AI w naszych komputerach.

Definicje kluczowych terminów:

Demo technologiczne – wersja programu lub technologii, która jest zaprezentowana publicznie w celu pokazania jej możliwości, ale nie jest jeszcze dostępna w pełnej wersji.

Generatywna sztuczna inteligencja – rodzaj sztucznej inteligencji, który umożliwia tworzenie nowych danych na podstawie istniejących wzorców.

Chmura – infrastruktura umożliwiająca zdalny dostęp do zasobów komputerowych, takich jak moc obliczeniowa czy przechowywanie danych.

PDF – Portable Document Format, format plików do przechowywania i przesyłania dokumentów w formacie elektronicznym.

YouTube – platforma internetowa umożliwiająca udostępnianie, oglądanie i zarządzanie filmami wideo.