Megérkezett a ChatQA: Kérdések és válaszok építése a GPT-4 szintjén

24 január 2024
Sukces ChatQA: Budowanie modeli odpowiadających na pytania na poziomie GPT-4

Az elmúlt években jelentős fejlődés történt a kérdés-válasz (QA) modellek fejlesztésében, köszönhetően olyan modellek előrehaladásának, mint az OpenAI ChatGPT (2022) és annak következő iterációi. Azonban az olyan beszélgetéses QA modell létrehozása, amely eléri a GPT-4 szintű pontosságot, továbbra is kihívást jelent a kutatók számára.

Ezt a kihívást a NVIDIA kutatócsoportja megoldani látszik a ChatQA: A beszélgetéses QA modellek GPT-4 szintjén történő létrehozása című legújabb publikációjában. Bemutatnak egy csomag beszélgetéses QA modelleket, amelyek elérnek GPT-4 szintű pontosságot anélkül, hogy a ChatGPT modellekből származó szintetikus adatokra támaszkodnának.

A kutatók először javasolnak egy kétdimenziós finomhangolási módszert a ChatQA utasítások számára. Az első szakaszban felügyelt finomhangolást (SFT) alkalmaznak utasításkövetésre és párbeszédhez kapcsolódó adathalmazok kombinációján. Ez az elsődleges finomhangolás lehetővé teszi a modell számára, hogy hatékonyan kövesse az utasításokat beszélgetéses ügynökként. A második szakasz, a kontextus-érzékeny utasítás finomhangolása, célja, hogy javítsa a modell képességét arra, hogy válaszokat generáljon kontextusban vagy hivatkozások segítségével beszélgetéses QA feladatokban.

Ezenkívül a kutatók bemutatnak egy új adatkészletet, a HumanAnnotatedConvQA-t, amely jelentősen javítja a nyelvi modell képességét a felhasználó által szolgáltatott vagy előhívott kontextus integrálására beszélgetéses QA feladatokban, anélkül, hogy a ChatGPT modellekből származó szintetikus adatokra támaszkodnának.

A csapat különféle ChatQA modelleket épít Llama2-7B, Llama2-13B, Llama2-70B (Touvron et al., 2023), valamint belső GPT-8B és GPT-22B modellek alapján. Átfogó elemzést végeznek tíz beszélgetéses QA adatkészlet alapján. Az átlagos teljesítés alapján a ChatQA-70B modell (54,14) jobb eredményt ér el, mint a GPT3.5-turbo (50,37) és a GPT-4 (53,90) a ChatGPT modellekből származó szintetikus adatok nélkül.

Továbbá, a kutatók felfedezik az „megválaszolhatatlan” forgatókönyvet, ahol a kívánt válasz nem szerepel a megadott vagy előhívott kontextusban. Ilyen esetekben a nyelvi modellnek olyan választ kell generálnia, mint például „nem tudok választ adni”, hogy elkerülje a helytelen információk terjesztését. Fontos megjegyezni, hogy a ChatQA-70B modell jobban teljesít a GPT-3.5-turbo modellnél ebben a forgatókönyvben, bár még mindig van némi különbség a GPT-4-hez képest (kb. 3,5%).

Publikáció: ChatQA: Beszélgetéses QA modellek építése a GPT-4 szintjén, arXiv.

Szerző: Hecate He | Szerkesztő: Chain Zhang

A legfrissebb hírek és kutatási áttörések érdekében iratkozzon fel népszerű hírlevelünkre, a Synced Global AI Weeklyre, heti frissítéseinket az mesterséges intelligenciáról.

Gyakori kérdések:

1. Mi az a ChatGPT?
A ChatGPT egy az OpenAI által fejlesztett beszélgetéses modell. Az elmúlt fejlesztések szignifikáns változásokat hoztak a kérdés-válasz modellek fejlesztésében.

2. Milyen QA modelleket mutat be a „ChatQA: Beszélgetéses QA modellek építése a GPT-4 szintjén” című publikáció?
A publikáció bemutat egy olyan csomag beszélgetéses QA modelleket, amelyek elérnek GPT-4 szintű pontosságot anélkül, hogy a ChatGPT modellekhez tartozó szintetikus adatokra támaszkodnának. Ezek a modellek Llama2-7B, Llama2-13B, Llama2-70B, GPT-8B és GPT-22B alapúak.

3. Mi a ChatQA utasítások finomhangolási módszere?
A módszer két szakaszból áll. Az első szakasz felügyelt finomhangolást (SFT) tartalmaz instrukciók és párbeszédhez kapcsolódó adathalmazok használatával, amely lehetővé teszi a modell számára az utasítások hatékony követését beszélgetéses ügynökként. A második szakasz a kontextus-érzékeny utasítás finomhangolása, amely javítja a modell képességét a válaszok generálására kontextusban.

4. Hogyan segíti a HumanAnnotatedConvQA a ChatQA-t?
A HumanAnnotatedConvQA adatkészlet jelentős mértékben javítja a nyelvi modell képességét a felhasználó által szolgáltatott vagy előhívott kontextus integrálására beszélgetéses QA feladatokban anélkül, hogy a ChatGPT modellekből származó szintetikus adatokra támaszkodnának.

5. Hogyan teljesít a ChatQA más modellekhez, például a GPT-4-hez képest?
Az eredmények azt mutatják, hogy a ChatQA-70B modell átlagos eredménye 54,14, ezzel meghaladja mind a GPT3.5-turbo (50,37), mind pedig megközelíti a GPT-4 (53,90) eredményét a ChatGPT modellekből származó szintetikus adatok felhasználása nélkül.

6. Hogyan teljesít a ChatQA modell az „megválaszolhatatlan” forgatókönyvben?
Abban az esetben, amikor a kívánt válasz nincs jelen a megadott vagy előhívott kontextusban, a ChatQA modellnek olyan választ kell generálnia, mint például „nem tudok választ adni”. A ChatQA-70B jobban teljesít a GPT-3.5-turbo modellhez képest ebben a forgatókönyvben, bár még mindig van némi különbség a GPT-4-nél.

Kapcsolódó linkek:
– openai.com
– arxiv.org

Don't Miss

Gaming and Leisure Properties to Release First Quarter Financial Results and Host Conference Call

Új korszak hajnala a kaszinóiparban: Innovációk felkarolása és kihívások legyőzése

A kaszinóipar folyamatos fejlődésének terepén olyan vállalatok, mint a Gaming
Esports World Cup 2024 CS2: Clash of the Titans

Elektronikus sport világbajnokság 2024 CS2: A titánok összecsapása.

A színpad el van készítve egy hatalmas összecsapáshoz az esport