Utforska framtidens AI med Nvidia's Chat with RTX

Nvidia har intagit världen av generativ artificiell intelligens med sin senaste tekniska demo som heter Chat with RTX. Denna demo, för närvarande i beta med version 0.2, ger en glimt av framtiden för AI på enheter. Till skillnad från andra AI-modeller som förlitar sig på molnberäkning för beräkningskraft, tillåter Chat with RTX användare att köra chatboten direkt på sina datorer. Denna approach säkerställer inte bara snabbare svarstider utan också förbättrad datasäkerhet.

För att använda Chat with RTX behöver du bara en Nvidia GPU från 30 eller 40 serien, 8 GB systemminne och Windows 11. Enligt vår partner PCMag är nedladdningsstorleken för demon cirka 35 GB, med ytterligare 100 GB diskutrymme som krävs för installationen. Installationen tar mellan 30 minuter och en timme, vilket gör det idealiskt att lämna oövervakad. Det är värt att notera att Chat with RTX inte stödjer äldre GPU:er från RTX 20 serien, troligtvis på grund av otillräckliga tensor-kärnor som är nödvändiga för generativ AI.

Liknande ChatGPT eller Microsofts Copilot, tillåter Chat with RTX användare att interagera med en stor språkmodell utvecklad av Nvidia, kallad Mistral. Användare kan ställa frågor till modellen, som snabbt genererar svar genom att använda data från internet och även komplexa dokument, inklusive PDF-filer och YouTube-videor. Även om Nvidia hävdar att Chat with RTX också kan ge språköversättningar, är denna funktionalitet ännu inte tillgänglig.

PCMags bedömning avslöjar att Chat with RTX fungerar liknande som ChatGPT men saknar vissa av funktionerna. Till exempel hoppar Chat with RTX ibland över delar av frågor, medan ChatGPT inte har sådana problem. För närvarande verkar den mest framstående funktionen hos Chat with RTX vara dess förmåga att sammanfatta textfiler (PDF, Doc, txt) och YouTube-videor samt svara på frågor baserat på deras innehåll. Även om vi alla älskar en 18-minuters GPU-historia skulle en textversion vara ett välkommet tillskott för textinriktade entusiaster.

Enligt PCMags utvärdering är Chat with RTX duktig på att sammanfatta YouTube-videor, men dess prestanda med PDF-filer som innehåller GPU-testresultat var blandad. Medan korrekta svar genererades för YouTube-videor, gav modellen felaktiga svar och hade svårigheter med uppföljningsfrågor när den presenterades med PDF-filer. För närvarande verkar Chat with RTX vara mer av ett experimentellt verktyg, vilket placera Nvidia före sina konkurrenter inom detta område. Men då både AMD och Intel CPU:er nu är utrustade med neuronnätverksenheter (NPU:er), uppstår frågan om vilken hårdvara som kommer att hantera den AI vi vill använda på våra datorer. Helt enkelt, det blir en riktig konkurrens.