Annabelle Stephenson
A Nvidia entrou no mundo da inteligência artificial generativa com sua mais recente demonstração tecnológica chamada Chat with RTX. Essa demonstração, atualmente em versão beta 0.2, oferece um vislumbre do futuro da IA em dispositivos. Ao contrário de outros modelos de IA que dependem de computação em nuvem para poder computacional, o Chat with RTX permite que os usuários executem o chatbot diretamente em seus computadores. Essa abordagem não apenas garante tempos de resposta mais rápidos, mas também aumenta a segurança dos dados.
Para experimentar o Chat with RTX, tudo o que você precisa é de uma GPU Nvidia da série 30 ou 40, 8GB de memória de sistema e o Windows 11. Conforme descoberto pelo nosso parceiro PCMag, o tamanho do download para a demonstração é de aproximadamente 35GB, com espaço adicional de 100GB no disco necessário para a instalação. O processo de instalação leva de 30 minutos a uma hora, tornando-o ideal para deixar sem supervisão. Vale ressaltar que o Chat with RTX não oferece suporte a GPUs mais antigos da série RTX 20, possivelmente devido à falta de núcleos tensor, que são essenciais para a IA generativa.
Assim como o ChatGPT ou o Copilot da Microsoft, o Chat with RTX permite que os usuários interajam com um grande modelo de linguagem desenvolvido pela Nvidia, conhecido como Mistral. Os usuários podem fazer perguntas ao modelo, que gera respostas rapidamente acessando dados da internet e até mesmo documentos complexos, incluindo PDFs e vídeos do YouTube. Embora a Nvidia afirme que o Chat with RTX também pode fornecer tradução de idiomas, essa funcionalidade ainda não está disponível.
A avaliação do PCMag revela que o Chat with RTX funciona de forma semelhante ao ChatGPT, mas possui algumas diferenças. Por exemplo, o Chat with RTX às vezes pula partes das consultas, enquanto o ChatGPT não apresenta esse tipo de problema. A característica marcante atual do Chat with RTX parece ser sua capacidade de resumir arquivos de texto (PDF, Doc, txt) e vídeos do YouTube e responder perguntas com base em seu conteúdo. Embora todos gostemos de uma história de GPU de 18 minutos, ter uma versão textual seria uma adição bem-vinda para os entusiastas orientados por texto.
De acordo com a avaliação do PCMag, o Chat with RTX se destaca ao resumir vídeos do YouTube, mas seu desempenho com arquivos PDF contendo resultados de testes de GPU foi variado. Embora respostas precisas tenham sido geradas para vídeos do YouTube, o modelo forneceu respostas incorretas e teve dificuldades com perguntas de acompanhamento quando apresentado a PDFs. Atualmente, o Chat with RTX parece ser mais uma ferramenta experimental, colocando a Nvidia à frente de seus concorrentes nesse domínio. No entanto, à medida que tanto a AMD quanto a Intel agora fornecem unidades de processamento neural (NPUs) em suas CPUs, surge a pergunta sobre qual hardware será responsável pela IA que desejamos utilizar em nossos computadores. Francamente, está se tornando uma competição acirrada.
FAQ – Programa Chat with RTX
The source of the article is from the blog krama.net
