O Futuro da IA: Explorando o Chat com a RTX da Nvidia

A Nvidia adentrou o mundo da inteligência artificial generativa com sua mais recente demonstração tecnológica chamada Chat com a RTX. Essa demonstração, atualmente na versão beta 0.2, oferece uma visão do futuro da IA em dispositivos. Ao contrário de outros modelos de IA que dependem de computação em nuvem para potência computacional, o Chat com a RTX permite que os usuários executem o chatbot diretamente em seus computadores. Essa abordagem não apenas garante tempos de resposta mais rápidos, mas também aprimora a segurança de dados.

Para experimentar o Chat com a RTX, tudo o que você precisa é de uma GPU Nvidia da série 30 ou 40, 8GB de memória de sistema e o Windows 11. Como descoberto pelo nosso parceiro PCMag, o tamanho do download para a demonstração é de aproximadamente 35GB, com um espaço adicional de 100GB no disco necessário para a instalação. O processo de instalação leva de 30 minutos a uma hora, o que o torna ideal para deixar sem supervisão. Vale ressaltar que o Chat com a RTX não oferece suporte a GPUs mais antigos da série RTX 20, possivelmente devido a núcleos tensor insuficientes, que são vitais para a IA generativa.

Assim como o ChatGPT ou o Copilot da Microsoft, o Chat com a RTX permite que os usuários interajam com um grande modelo de linguagem desenvolvido pela Nvidia, conhecido como Mistral. Os usuários podem fazer perguntas ao modelo, que gera respostas rapidamente acessando dados da internet e até mesmo documentos complexos, como PDFs e vídeos do YouTube. Embora a Nvidia afirme que o Chat com a RTX também pode fornecer tradução de idiomas, essa funcionalidade ainda não está disponível.

A avaliação da PCMag revela que o Chat com a RTX funciona de forma semelhante ao ChatGPT, mas carece de alguns recursos. Por exemplo, o Chat com a RTX ocasionalmente pula partes das consultas, enquanto o ChatGPT não apresenta tais problemas. A característica destaque atual do Chat com a RTX parece ser sua capacidade de resumir arquivos de texto (PDF, Doc, txt) e vídeos do YouTube e responder perguntas com base em seu conteúdo. Embora todos nós amemos uma história de GPU de 18 minutos, ter uma versão textual seria uma adição bem-vinda para entusiastas voltados para textos.

De acordo com a avaliação da PCMag, o Chat com a RTX se destaca na sumarização de vídeos do YouTube, mas seu desempenho com arquivos PDF contendo resultados de testes de GPU foi misto. Enquanto respostas precisas foram geradas para vídeos do YouTube, o modelo forneceu respostas incorretas e enfrentou dificuldades com perguntas de acompanhamento quando apresentado com PDFs. Atualmente, o Chat com a RTX parece ser mais uma ferramenta experimental, colocando a Nvidia à frente de seus concorrentes nesse domínio. No entanto, à medida que tanto os CPUs AMD quanto Intel agora vêm equipados com unidades de processamento neural (NPUs), surge a questão de qual hardware lidará com a IA que desejamos usar em nossos computadores. Francamente, está se tornando uma competição acirrada.