Annabelle Stephenson
Nvidia вошла в мир генеративного искусственного интеллекта с помощью своей последней технологической демонстрации под названием Chat with RTX. Эта демонстрация, находящаяся в настоящее время в бета-версии 0.2, позволяет заглянуть в будущее искусственного интеллекта на устройствах. В отличие от других моделей искусственного интеллекта, которые полагаются на облачные вычисления для вычислительной мощности, Chat with RTX позволяет пользователям запускать чат-боты непосредственно на своих компьютерах. Такой подход не только обеспечивает более быстрое время отклика, но и повышает безопасность данных.
Для опыта работы с Chat with RTX вам понадобится GPU от Nvidia серий 30 или 40, 8 ГБ оперативной памяти и Windows 11. Как обнаружили наш сайт-партнер PCMag, размер загружаемого файла для демо-версии составляет примерно 35 ГБ, с дополнительным требованием 100 ГБ свободного дискового пространства для установки. Процесс установки занимает от 30 минут до часа, что делает его идеальным для необслуживаемой работы. Следует отметить, что Chat with RTX не поддерживает старые GPU серии RTX 20, возможно из-за недостаточности тензорных ядер, которые являются ключевыми для генеративного искусственного интеллекта.
Подобно ChatGPT или Copilot от Microsoft, Chat with RTX позволяет пользователям взаимодействовать с большой языковой моделью, разработанной Nvidia и известной как Mistral. Пользователи могут задавать вопросы модели, которая быстро генерирует ответы, обращаясь к данным из Интернета и даже сложным документам, включая PDF-файлы и видео на YouTube. Хотя Nvidia утверждает, что Chat with RTX также может предоставлять функцию перевода языков, эта функция пока недоступна.
Оценка PCMag показывает, что Chat with RTX работает похоже на ChatGPT, но лишен некоторых его функций. Например, Chat with RTX иногда пропускает часть запросов, в то время как у ChatGPT такой проблемы нет. Текущей ключевой особенностью Chat with RTX, по-видимому, является его способность к суммированию текстовых файлов (PDF, Doc, txt) и видео на YouTube, а также давать ответы на вопросы, основанные на их содержании. Хотя мы все любим историю GPU продолжительностью в 18 минут, текстовая версия была бы приветствована сторонниками текста.
Согласно оценке PCMag, Chat with RTX превосходит в суммировании видео на YouTube, но его производительность с файлами PDF, содержащими результаты тестирования GPU, была разной. В то время как для видео на YouTube генерировались точные ответы, модель давала неверные ответы и испытывала трудности с последующими вопросами при работе с PDF-файлами. В настоящее время Chat with RTX, по всей видимости, является более экспериментальным инструментом, который помещает Nvidia впереди конкурентов в этой области. Однако, поскольку и процессоры AMD, и процессоры Intel теперь имеют нейронные процессорные блоки (NPUs), возникает вопрос о том, чье аппаратное обеспечение будет обрабатывать искусственный интеллект, которым мы хотим пользоваться на своих компьютерах. Честно говоря, это становится настоящей конкуренцией.
