Nem tudjuk hogyan működik a gondolkodás (mi több, nem tudjuk, hogy működhet-e emberihez hasonló eredményt adó gondolkodás máshogy, mint az emberé). De az én érzetem, első sorban saját magam alapján, hogy ez egy több rétegű dolog. Az alap a mintázatok megfigyelése (A-B-B-A utál általában B jön... akkor valószínűleg X-Y-Y-X után meg X). Ez tudatos szint alatt megy leginkább, mert ezek ilyen primitívek, építőelem. Utánra erre van felépítve egy magasabb szintű, érvelési láncra emlékeztető módszer, ami sokszor tudatos (viszont valószínűleg ez is a "minták utánzása" architektúrára épül - a formális érvelési szabályok eleve csak minták). Az emberi nyelvek szabályai állati kaotikusak (egy rakás történelmi hordalék), szóval ott az utóbbi tudatosabb "kiokoskodós" megközelítés egyszerűen nem hatékony módszer. Ellenben a programozás ahhoz képes egy nagyon egyszerű, egyértelmű szabályokkal operáló világban mozog, ezért ott a tudatos szinten megérteni és kikövetkeztetni hatékony módszer. Nekem úgy tűnik, hogy egy nagyobb LLM-nek, úgy ahogy (nem jól), mind a kettő megy. Azaz, a talált minták közé bekerültek azok is, amik a "hogyan gondolkodjunk" programot megvalósító minták. Csak mivel nem tudják az AI-s kutatók, hogy pontosabban miként történik ez, ezért csak próbálkoznak, hogy ilyen hiperparaméterekkel (hány réteg, stb.) jobb, ha ilyen módszerrel tréningezzük akkor jobb, stb.

[ Szerkesztve ]