Hirdetés

Új hozzászólás Aktív témák

  • macika5
    csendes tag

    Ezek nem konzumer gpu-k,itt lehet.
    === Loading FP16 model on 2 GPUs (160 GB) ===
    [transformers] `torch_dtype` is deprecated! Use `dtype` instead!
    Loading weights: 100%|██████████████████████████████████████| 339/339 [00:20<00:00, 16.38it/s]
    === VRAM after model load ===
    GPU0: Free 66571 MB / Total 81583 MB
    GPU1: Free 81276 MB / Total 81583 MB
    === VRAM before generation ===
    GPU0: Free 66571 MB / Total 81583 MB
    GPU1: Free 81276 MB / Total 81583 MB
    === VRAM after generation ===
    GPU0: Free 66461 MB / Total 81583 MB
    GPU1: Free 81276 MB / Total 81583 MB
    === Results ===
    Input tokens: 12
    Output tokens: 256
    Latency: 5.823 sec
    Tokens/sec: 43.96

    Tue Aug 11 14:04:44 2026
    +-----------------------------------------------------------------------------------------+
    | NVIDIA-SMI 610.43.02 KMD Version: 610.43.02 CUDA UMD Version: 13.3 |
    +-----------------------------------------+------------------------+----------------------+
    | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
    | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
    | | | MIG M. |
    |=========================================+========================+======================|
    | 0 NVIDIA Graphics Device Off | 00000000:40:00.0 Off | N/A |
    | N/A 81C P0 60W / 250W | 199MiB / 81920MiB | 0% Default |
    | | | Disabled |
    +-----------------------------------------+------------------------+----------------------+
    | 1 NVIDIA Graphics Device Off | 00000000:6C:00.0 Off | N/A |
    | N/A 79C P0 59W / 250W | 16MiB / 81920MiB | 0% Default |
    | | | Disabled |
    +-----------------------------------------+------------------------+----------------------+
    +-----------------------------------------------------------------------------------------+
    | Processes: |
    | GPU GI CI PID Type Process name GPU Memory |
    | ID ID Usage |
    |=========================================================================================|
    | 0 N/A N/A 33234 G /usr/bin/gnome-shell 138MiB |
    | 0 N/A N/A 40303 G /usr/bin/Xwayland 7MiB |
    | 0 N/A N/A 53384 C+G /usr/bin/ptyxis 24MiB |
    | 1 N/A N/A 33234 G /usr/bin/gnome-shell 5MiB |
    +-----------------------------------------------------------------------------------------+

  • macika5
    csendes tag

    A consumer GPU-knal mar regota fizikai a butitas minden esetben, nem lehet sw trukkel visszavarazsolni a letiltott reszeket.

    Ezek nem konzumer gpu-k,itt lehet.
    === Loading FP16 model on 2 GPUs (160 GB) ===
    [transformers] `torch_dtype` is deprecated! Use `dtype` instead!
    Loading weights: 100%|██████████████████████████████████████| 339/339 [00:20<00:00, 16.38it/s]
    === VRAM after model load ===
    GPU0: Free 66571 MB / Total 81583 MB
    GPU1: Free 81276 MB / Total 81583 MB
    === VRAM before generation ===
    GPU0: Free 66571 MB / Total 81583 MB
    GPU1: Free 81276 MB / Total 81583 MB
    === VRAM after generation ===
    GPU0: Free 66461 MB / Total 81583 MB
    GPU1: Free 81276 MB / Total 81583 MB
    === Results ===
    Input tokens: 12
    Output tokens: 256
    Latency: 5.823 sec
    Tokens/sec: 43.96

  • zooly
    aktív tag

    Nekem amúgy játékra lett volna érdekes, AI nem érdekel mert kicsiben olcsóbb erőforrást venni mint otthon üzemeltetni.
    Amennyire tudom a 64GB-osokkal egyel sem volt baj, a 80GB-osnál van valami de utánaolvasva a VRM gyenge hozzá és azt kipótolva működik az is, de addig 40GB-al használható teljesen.
    A GPU nagyon nyesett felépítésében kb kétharmada maradt meg a teljeshez kepést.

    Ami most érdekes hogy mi lesz a kínában maradt kártyákkal, ott ugye még az 4090/5090-esek GPU-ját és ramjait is levakarták AI-hoz, most ha ez ott elszabadul akkor nem kevés kártya megy AI-ra és az ottani árak is el fognak szállni. Usában már elszálltak az árak, bár ez érdekes mert szerintem ott kevésbé jellemző az hogy barkácskártyákat használnának nagy tételben AI-ra mint kínában.

    Ami viszont számomra érdekes lenne az a korábbi CMP kártyák feloldhatósága de nem ram terén hanem pcie sávok és játékteljesítmény terén. pl 60-70eft körül van az RTX3080 bányászmegfelelője amire ha kínai rápakol 20GB ramot akkor azért mai napig egy elég használató kártya lenne.

    Továbbmegyek, ha a falcont lehet ennyire piszkálni akkor talán még lehetséges lenne a letiltott feldolgozók feloldása is. Példának 5070ti-ből 5080-ast varázsolni mert ott szerintem inkább a piac nyomására kerültek ki a csökkentett feldolgozós kártyák és nem azért mert konkrétan selejtek. Ugyanígy 5090-esnél is érdekes lenne mert az is egy nyesett kártya. Aztán 5060-asnál Ti-t csinálni... lehetne még sorolni mert van azért pár kártya ami felépítésben (ram szélesség még ha a méret nem is) hasonlít a nagyobb tesójához.

    A consumer GPU-knal mar regota fizikai a butitas minden esetben, nem lehet sw trukkel visszavarazsolni a letiltott reszeket.

  • Nekem amúgy játékra lett volna érdekes, AI nem érdekel mert kicsiben olcsóbb erőforrást venni mint otthon üzemeltetni.
    Amennyire tudom a 64GB-osokkal egyel sem volt baj, a 80GB-osnál van valami de utánaolvasva a VRM gyenge hozzá és azt kipótolva működik az is, de addig 40GB-al használható teljesen.
    A GPU nagyon nyesett felépítésében kb kétharmada maradt meg a teljeshez kepést.

    Ami most érdekes hogy mi lesz a kínában maradt kártyákkal, ott ugye még az 4090/5090-esek GPU-ját és ramjait is levakarták AI-hoz, most ha ez ott elszabadul akkor nem kevés kártya megy AI-ra és az ottani árak is el fognak szállni. Usában már elszálltak az árak, bár ez érdekes mert szerintem ott kevésbé jellemző az hogy barkácskártyákat használnának nagy tételben AI-ra mint kínában.

    Ami viszont számomra érdekes lenne az a korábbi CMP kártyák feloldhatósága de nem ram terén hanem pcie sávok és játékteljesítmény terén. pl 60-70eft körül van az RTX3080 bányászmegfelelője amire ha kínai rápakol 20GB ramot akkor azért mai napig egy elég használató kártya lenne.

    Továbbmegyek, ha a falcont lehet ennyire piszkálni akkor talán még lehetséges lenne a letiltott feldolgozók feloldása is. Példának 5070ti-ből 5080-ast varázsolni mert ott szerintem inkább a piac nyomására kerültek ki a csökkentett feldolgozós kártyák és nem azért mert konkrétan selejtek. Ugyanígy 5090-esnél is érdekes lenne mert az is egy nyesett kártya. Aztán 5060-asnál Ti-t csinálni... lehetne még sorolni mert van azért pár kártya ami felépítésben (ram szélesség még ha a méret nem is) hasonlít a nagyobb tesójához.

  • Szerintem nem véletlenek ezek...valamelyik mérnök belsős súgott, kiszivárgott a program stb...
    Őszintén ha tudnád hogy kell unlockolni.. miért árulnád el? Felvásárolsz 1000 db-ot 10x teljesítmény kijön belőle. Minek árulnád el.. a hasznon meg veszel még 1000db-ot olcsón.

    Van, aki nem pénz alapon működik :) És igen, ezek általában így szivárognak ki.

  • angyalpc2
    aktív tag

    Szerintem nem véletlenek ezek...valamelyik mérnök belsős súgott, kiszivárgott a program stb...
    Őszintén ha tudnád hogy kell unlockolni.. miért árulnád el? Felvásárolsz 1000 db-ot 10x teljesítmény kijön belőle. Minek árulnád el.. a hasznon meg veszel még 1000db-ot olcsón.

  • angyalpc2
    aktív tag

    ok... :UValószínű arról van szó hogy a procik, memória részek x%-a hibás, vagy teljesen vagy órajel szinten. Az nvidia meg kiszórta... lehet pár darab tök jó és menni is fog, a fele meg nem. Attól függően a waffer melyik részén jött le, és melyik revizión van túl.
    Szar processzor nem vész el, csak átalakul

Új hozzászólás Aktív témák