Annabelle Stephenson
У останні роки було зроблено значний прогрес у розробці моделей відповідання на питання завдяки проривам в моделях, таких як ChatGPT від OpenAI (2022) та його подальші версії. Однак створення розмовної моделі відповідання на питання, яка зможе відповідати з точністю стану сучасних закритих моделей, як GPT-4, залишається викликом для дослідників.
Відповідаючи на цей виклик, команда дослідників NVIDIA презентує ChatQA: Заснування розмовних моделей відповідання на питання на рівні GPT-4 у їхній останній публікації. Вони представляють пакет розмовних моделей відповідання на питання, які досягають точності на рівні GPT-4 без використання синтетичних даних від моделей ChatGPT.
Дослідники спочатку пропонують метод двох етапів для деталізації інструкцій ChatQA. На першому етапі вони використовують взаємообмінну деталізацію (SFT) на поєднання навчальної деталізації та наборів даних, пов’язаних з діалогами. Ця початкова деталізація надає моделі здатність ефективно відстежувати інструкції як розмовний агент. Другий етап, відомий як деталізація інструкцій, які ураховують контекст, спрямований на покращення здатності моделі генерувати відповіді у контексті або з використанням посилань у розмовних завданнях відповіді на питання.
Крім того, дослідники представляють новий набір даних під назвою HumanAnnotatedConvQA, який значно покращує можливості мовної моделі інтегрувати надані користувачем або отримані контексти в завданнях розмовного відповідання на питання без використання синтетичних даних від моделей ChatGPT.
Команда розробляє різні моделі ChatQA на базі Llama2-7B, Llama2-13B, Llama2-70B (Touvron et al., 2023), а також внутрішніх моделей GPT-8B та GPT-22B. Вони здійснюють комплексний аналіз на основі десяти наборів даних розмовного відповідання на питання. Заодношенням середніх показників модель ChatQA-70B (54,14) перевершує як GPT3.5-turbo (50,37), так і GPT-4 (53,90) без використання синтетичних даних від моделей ChatGPT.
Крім того, дослідники досліджують ситуацію “неможливо відповісти”, коли бажана відповідь відсутня в наданому або отриманому контексті. У таких випадках мовній моделі потрібно згенерувати відповідь на кшталт “не вдалося надати відповідь”, щоб уникнути передачі невірної інформації. Варто відмітити, що модель ChatQA-70B перевершує GPT-3.5-turbo у вирішенні цього сценарію, хоча існує невелика різниця по відношенню до GPT-4 (приблизно 3,5%).
Публікація: ChatQA: Заснування розмовних моделей відповідання на питання на рівні GPT-4, arXiv.
Автор: Hecate He | Редактор: Chain Zhang
Щоб залишатися в курсі останніх новин та досліджень, підпишіться на наш популярний щотижневий інформаційний бюлетень Synced Global AI Weekly для отримання щотижневих оновлень зі штучного інтелекту.
Часто задавані питання:
1. Що таке ChatGPT?
ChatGPT є розмовною моделлю, розробленою OpenAI. Останні постиження призвели до значних змін у розробці моделей відповідання на питання.
2. Які моделі відповідання на питання представлені у публікації “ChatQA: Заснування розмовних моделей відповідання на питання на рівні GPT-4”?
У публікації представлено пакет розмовних моделей відповідання на питання, які досягають точності на рівні GPT-4 без використання синтетичних даних від моделей ChatGPT OpenAI. Ці моделі базуються на Llama2-7B, Llama2-13B, Llama2-70B, GPT-8B та GPT-22B.
3. Який метод деталізації інструкцій використовується для ChatQA?
Метод складається з двох етапів. На першому етапі використовується взаємообмінна деталізація (SFT) за допомогою навчальної деталізації та наборів даних, пов’язаних з діалогами, що дозволяє моделі ефективно відстежувати інструкції як розмовний агент. Другий етап – це деталізація інструкцій, які ураховують контекст, що поліпшує здатність моделі генерувати відповіді у контексті.
4. Як набір даних HumanAnnotatedConvQA сприяє ChatQA?
Набір даних HumanAnnotatedConvQA значно поліпшує можливості мовної моделі інтегрувати надані користувачем або отримані контексти в завданнях розмовного відповідання на питання без використання синтетичних даних від моделей ChatGPT.
5. Як ChatQA порівнюється з іншими моделями, такими як GPT-4?
Результати показують, що модель ChatQA-70B досягає середнього балу 54.14, перевищуючи як GPT3.5-turbo (50.37), так і наближаючись до GPT-4 (53.90) без використання синтетичних даних від моделей ChatGPT.
6. Як себе проявляє модель ChatQA в сценарії “неможливо відповісти”?
У випадках, коли бажана відповідь відсутня в контексті, мовна модель ChatQA повинна згенерувати відповідь у формі “не вдалося надати відповідь”, щоб уникнути розповсюдження неправдивої інформації. Модель ChatQA-70B перевищує GPT-3.5-turbo у цьому сценарії, хоча є невелика різниця в порівнянні з GPT-4 (приблизно 3,5%).
Пов’язані посилання:
– openai.com
– arxiv.org
