"Tehát mégiscsak vannak gondolkodási stratégiák és ezek explicit benne vannak az AI-ban is"
A GPT architektúrában, ha megnézed (linkeltem imént), nincsenek benne. Nincs benne, amit tud, a gondolkodási stratégiák sem, semmi. Valahogy a súlyokban képződik le (nem tudjuk pontosan hogyan), a súlyokat pedig gradient descent-el állítják be, ami egy totál alacsony szintű algoritmus.
Mellékesen, "laborban" minden cég dolgozik olyanin, hgy a GPT(-szerűség) főlé építenek egy magasabb szintű réteget, ami pl. valamiféle tree of thought startégiát vezényel le. (Egy ilyen felsőbb réteg nyilvánvalóan szükséges, mert a jelenlegi architektúra nem tud több számítást végezni önszántából, ha nehezebb egy kérdés.) Ez egy olyan koncepció, amit egy ember simán megért, viszont az alkalmazásával ki tud találni olyan megoldásokat az AI, aminek a megértéséhez már okosabbnak kéne lenned, mint a tree of though algoritmus megértéséhez. Ismét egy példa arra, hogy egyszerű dolgok, amiket meg tudsz érteni és csinálni, elvégezhetnek olyan feladatokat, amik már mélyebb megértést igényelnek.
"Amiben jobb tud lenni a gép az a sebesség és problématér mérete."
És könnyen meglehet, hogy ennyi a különbség egy nagyon buta és egy nagyon okos ember közt is. Mindegyik ismeri ugyan azokat a gondolkodási stratégiákat, csak hát egyik állandóan belezavarodik, meg bajosan találja a memóriájában a régen megszerzett ismereteket, vagy simán nem érzett soha motivációt, hogy fáradságosan megoldásokat keressen (utóbbi attitűd gond már inkább LLM prompting mágia kategóriába esik).
"Miért lenne egy gép attól veszélyes, hogy egy emberi koncepciót tud és abban nagyobb feladatokat is megold az embernél gyorsabban? Ez csak egy eszköz."
De ezt azzal feltételezéssel élve kérdezed, hogy nem lehet embernél minden lényegesben jobb, hogy nem lehetséges valódi AGI. Én meg nem feltételezem ezt, így én többféle lehetséges jövőben forgatókönyvet is el tudok képzelni.
"reguláris kifejezések is fekete mágiának tűnnek elsőre"
Mondhatjuk, hogy néha meglepő, hogy miket meg lehet vele oldani. A neurális háló is okozhat még meglepetést... Ettől még nem fekete mágia, csak korlátos emberi agyunkkal nem számítottunk rá. (Aztán persze a mágia definíciója lehet az, hogy valami, amit nagyon nem értesz hogyan lehetséges, és még is létezik.)
"Ahhoz hogy koncepcionálisan magasabb szinten legyen az AI, mint az ember olyan absztrakt feladatot kéne nekünk embereknek definiálni és az általános megoldással előrukkolni, amit nem értünk."
De nem kell olyan betanító anyag, ami egy adott konkért dologra explicit meg akar tanítani. Mert egy tény kupacban találhatsz összefüggéseket önállóan. Mint ahogy az ember is jobban megértette a fizikát idővel. Vagy akár matematikát, ami sokkal tisztábban emberi találmány. Ott volt egy rakás "tény", bementi adat, és elkezdtél összefüggéseket találni benne. És mikor az megvolt, akkor már találtál még újabbakat, még mélyebbeket. De hát miről is beszélünk, hiszen ez egy alapvetés a neurális hálóknál, hogy megtalál összefüggéseket egy kupac adatban, amiről te talán nem is tudsz.
Azt gondolom körbe-körbe megyünk már csak...