Nem volt a termékre (mac Studio) elég nagy kereslet, gondolom a TSMC-vel szerződésben vannak x darab M2 Ultra Soc minimum legyártásával, hát ellövik erre. 🤷🏼‍♂️

[ Szerkesztve ]

Még nincs kész, de már majdnem elkezdtük!

Pont, hogy a Studiora volt nem? Inkább a mac Pro-ra nem volt.

Vamos a la playa.

Hú de izgi.

Külön erőművek kellenek ma a sok AI hülyeséghez, és akkor bárki is elhitte, hogy majd lokálisan pár watton ugyanaz el fog futni?

Őőő ez így nagyon nem igaz. Azért a tréningelt AI nagyon nem egy kategória egy cachelt kép megjelenítésével, miszerint nincs jelentős terhelés. Nem véletlen, hogy sem magyar, sem angol cikk nem azt írja, hogy a tréningezés folyik az M2 Ultra chipeken (ami amúgy pont a tréningezéshez harmatgyenge), hanem azt hogy a "bonyolultabb" műveletek fognak zajlani a szervereken. Ami érdekes, hogy pl a dokumentum összegzése az bonyolultnak minősül, és nem bír el vele az A17 Pro. Ez nekem fura. Most vagy hazudnak (mert teszem azt nagyon leszívná az akksit, vagy túlmelegedne a készülék, és inkább behazudják, hogy gyenge), vagy nem is olyan erős az A17 Pro, mint azt mindig súlykolták.

[ Szerkesztve ]

Részben igaz, tényleg töredéke a training kapacitásigényének a futtatás. A bottleneck LLM-eknél inkább a (V)RAM, ami iPhone-on kicsi, az M2U viszont abban kifejezetten erős. Szerintem ez a fő ok a "kiszervezésre", mivel szerintem is elég erős az NPU az iPhone-okban.

Az A17 Pro nem olyan eros, mint regebben a tobbi Apple SoC a snapdragonhoz, kirinhez stb kepest.
Sd8 gen2 szint, az sd8 gen3 reggelire megeszi az A17 Pro-t. Ez egy.

Ketto. Ket dokumentum osszevetese a nehezebb feladatok koze tartozik. Sokkal eroforrasigenyesebb, mint ket kep vagy ket hangminta osszevetese.