Ami hallucinálást illeti, eleve úgy van tréningezve a model, hogy lehetetlen feladatot oldjon meg minél nagyobb eséllyel, azaz eleve bullshitelni tanúl. Tehát pl. valahol a weben az áll, "Tegnap láttam egy hatalmas madarat.", és akkor ezt felfedik az utolsó szó nélkül, hogy folytassa. A pozitívan pontozott folyatás a "madarat." (pontosabban, azt akarod, hogy annak a folytatásnak minél nagyobb esélyt adjon a model a kimeneten), holott a helyes folytatás "[...] <meta>Ezt ennyi alapján nem lehet kikövetkeztetni!</meta>". Nem véletlen, hogy az egyik kutatási irány, hogy a bullshit generátort lehetne-e jobb betanításra használt anyag generálására használni. Mert meglepő módon, a GPT-4 bullshit generátor elég jó következtetési láncokat tud pl. generálni, és pl. ellenőrizni tudja a saját válaszát. Szóval ha még nem is tökéletes anyagot tud generálni, a webes szövegkupacnál bizonyosan sokkal jobbat. Erre példa az Orca. (De biztos ennél kreatívabbak zárt ajtó mögött... Pl. mi van, ha eleve nem sima szövegfolytatással edzel, hanem csak megoldható kiegészítésekre kéred, illetve ha a helyes válasz a "Nem megoldható", amikor a feladat nem megoldható.)

Illetve persze a másik aspektus, hogy hagyni kellene gondolkodni a problémán, még mielőtt kapkodva elkezdene válaszolni. Erre van trükk, akit érdekel keressen rá a SmartGPT-re. Ezzel persze az a gond, hogy sokkal lassabban jön a végső válasz, mint alapból.

[ Szerkesztve ]