Vas tudi skrbi, kaj velika tehnološka podjetja počnejo z vašimi podatki? Potem imamo dobro novico: dandanes ni več treba nikamor ničesar pošiljati. Svet lokalno izvedljivih modelov umetne inteligence se je v zadnjem času izjemno razvil in kar je pred nekaj leti zahtevalo večmilijonsko naložbo v strežniško farmo, je danes mogoče rešiti z eno samo namensko grafično kartico. SAPPHIRE AMD Radeon AI PRO R9700 je nastala prav za to – in preizkusili smo, kaj to pomeni v praksi.
Ni za igranje – in prav je tako
Na prvi pogled je morda nenavadno govoriti o grafični kartici, ki ne cilja na najnovejše igre AAA, ampak je zasnovana posebej za izvajanje umetne inteligence. SAPPHIRE AMD Radeon AI PRO R9700 – že ime pove – je namenska strojna oprema: optimizirana je za poganjanje lokalnih velikih jezikovnih modelov (LLM). Bistvo je v pomnilniku VRAM, saj pri lokalnem izvajanju modelov velikost video pomnilnika določa, kako velik model lahko naložimo in s kakšno hitrostjo lahko z njim delamo.
V testni konfiguraciji je kartica dobila mesto ob procesorju AMD Ryzen 7, dopolnjenem z 32 GB sistemskega RAM-a. Toda poudarek ni bil na sistemskem pomnilniku, ampak na tem, koliko in kako učinkovito lahko postreže lasten VRAM grafične kartice. Cilj je jasen: model naj teče na GPU, ne na CPU – kajti tu se odloča hitrost.
Za kaj je dobra lokalna umetna inteligenca? – in komu se splača
Preden se poglobimo v rezultate testov, je smiselno pojasniti, komu in zakaj je lokalno izvajanje modelov sploh pomembno. Odgovor v eni besedi: varnost podatkov. Kdor dela z občutljivimi poslovnimi podatki, informacijami o strankah in notranjimi dokumenti, je upravičeno zaskrbljen, da ti pristanejo na strežniku ponudnika oblaka – tudi če jih po pravilih tega ponudnika ne uporabljajo za učenje.
Pri lokalnem izvajanju podatek nikoli ne zapusti računalnika. Ni klicev API, ni oblaka, ni tretje strani. Kar se zgodi na računalniku, ostane na računalniku. To je lahko ključnega pomena zlasti za evropski trg, občutljiv na GDPR – naj gre za odvetniško pisarno, ponudnika zdravstvenih storitev ali finančnega svetovalca.
Pomembna opomba glede cene: R9700 je na voljo tudi v ponudbi iPon, če pa gledamo celotno konfiguracijo računalnika, uporabna sestava znaša približno 1 milijon forintov. To se na prvi pogled zdi veliko, a postavimo stvar v perspektivo: če bi nekdo na lokalno izvajanje prešel samo zaradi brezplačnega delovanja, to glede na mesečno naročnino na ChatGPT Plus ali Claude Pro ustreza približno 9–10 letom naročnine. Torej se samo zaradi varčevanja ne splača – z vidika varstva podatkov in poslovanja pa je lahko neprecenljiva.
Testno okolje: LM Studio in Qwen 3.5
Za testiranje smo uporabili aplikacijo LM Studio (lmstudio.ai), ki je trenutno eden najpreprostejših načinov, da kdor koli prenese in poganja odprtokodne modele na lastnem računalniku. Uporabniški vmesnik je izjemno intuitiven: izberemo model, ga prenesemo in že lahko klepetamo z njim – povsem tako kot s ChatGPT, le da vse poteka na naši strojni opremi.
Testni primerek je bila družina modelov Qwen 3.5 v dveh različicah: manjša, z 9 milijardami parametrov (9B), in resnejša, s 35 milijardami parametrov (35B). Slednjo smo izvajali s kvantizacijo Q8 – to je blaga kompresija, ki zmanjša velikost modela, da se zmeste v VRAM, hkrati pa ohrani približno 95–97 % prvotne zmogljivosti. Kvantizacija je v bistvu tako, kot če bi število zaokrožili na manj decimalnih mest: nekaj natančnosti se izgubi, a je v praksi skoraj neopazno.
Testi: od ustvarjalnega pisanja do programiranja
Ustvarjalno pisanje – test s kavarno
Kot prvo nalogo smo podali test pisanja besedila: napiši kratek, zabaven oglas za budimpeštansko kavarno, ki se odpre ob 5. uri zjutraj. Z imenom Koránkelő Kávézó (Kavarna za zgodnje ptice), za zaspane informatike in zgodnje babice, z besedno igro in akcijsko ponudbo, v največ 100 besedah.
Model 9B je poskusil prvi, a je madžarska slovnica mestoma zdrsnila, besedne igre so bile prisiljene, celoten vtis pa je bil bolj zmeden kot zabaven. Hitrost je bila vendarle navdušujoča: 86 žetonov na sekundo, skupaj z načinom razmišljanja. Na preprosto vprašanje je odgovor brez razmišljanja prišel s hitrostjo 102 žetona/s – to je bliskovito.
Model 35B pa je ustvaril presenetljivo dobro besedilo. »Pri nas je kava tako močna, da se boš zbudil tudi za Hello World!« – to je že kar uporabna besedna igra za informatiko občinstvo. »Pri nas ni hroščev, samo Java« – popolna občutljivost za ciljno občinstvo. Hitrost je bila seveda nižja: 28 žetonov/s, tudi faza premisleka je bila daljša in je trajala približno dve minuti. A rezultat občutno igra kategorijo više.
Programiranje – iskalec min, pomodoro, kviz in vremenski gradnik
Pri testih programiranja je model dobil štiri različne naloge, vsako je moral rešiti v eni sami datoteki HTML:
- Igra iskalec min – Qwen 35B jo je v načinu razmišljanja izdelal v približno 3–4 minutah. Rezultat: že ob prvem poskusu delujoč, igljiv iskalec min z dobro komentirano madžarsko kodo. Ni igra AAA, a dejstvo, da lokalno tekoč model ob prvem poskusu poda brezhibno, izvedljivo kodo, je že samo po sebi vredno pozornosti.
- Časovnik pomodoro – To je brez razmišljanja hitro zmlel. Odmor, ponovni zagon, preklop – vse je delovalo. Tudi zasnova je bila povsem sprejemljiva.
- Aplikacija s kvizom o umetni inteligenci – kviz z 8 vprašanji in štirimi odgovori, z neposredno povratno informacijo in končnim rezultatom. Model je vprašanja in odgovore na temo umetne inteligence ustvaril sam – in prinesel presenetljivo ustrezna, poučna vprašanja. Vprašanje o prednostih lokalnega izvajanja umetne inteligence si je izmislil sam od sebe.
- Vremenski gradnik – S trdo kodiranimi podatki, a z lepo zasnovo: preklapljati je bilo mogoče med Budimpešto, Debrecinom, Segedinom, Pécsem in Győrom. Delo s CSS je bilo izrazito dovršeno.
Res navdušujoče je bilo to: zadnji dve nalogi smo izvajali vzporedno, v dveh ločenih oknih za klepet. Grafična kartica je obe niti postregla brez težav – ni se zataknila, ni se kritično pregrela, in čeprav je hlajenje občasno zabrenčalo, ni bilo niti približno moteče. To nakazuje, da R9700 zanesljivo deluje tudi v resničnih delovnih procesih, ne le v laboratorijskih enonitnih testih.
Matematika – izračun popusta
Za preizkus logičnega razmišljanja smo podali večstopenjsko matematično uganko: trgovina daje 20-odstotni popust na vse izdelke, in če je prvotni znesek nad 50.000 forintov, dobiš še 10 % od že znižane cene. Prvotna cena je bila 75.000 forintov – koliko je končni znesek za plačilo, koliko si prihranil in koliko odstotkov je skupni popust?
Model 35B je izračun korak za korakom izpeljal brezhibno: 75.000 → 60.000 (20-odstotni popust) → 54.000 (še 10 %) → 21.000 forintov prihranka, torej 28-odstotni skupni popust. S hitrostjo 26,58 žetona/s in časom do prvega žetona 1,21 sekunde. Logika je bila ves čas pravilna – to vzbuja zaupanje, da ga je mogoče zanesljivo uporabiti tudi za računske naloge.
Analiza slike – sončni zahod ob Balatonu
Test presenečenja: Qwen 3.5 35B ima tudi zmožnost vida, torej zna analizirati slike. Vrgli smo mu fotografijo sončnega zahoda ob Balatonu z vprašanjem: kaj je na sliki? V fazi razmišljanja se mu je porodila misel, da je slika zelo podobna okolici griča Boglár ob Balatonu, čeprav je bil v končnem odgovoru bolj previden. Opis slike je bil vsebinsko natančen: sončni zahod, sprehajalna pot, zelena površina, urejen park. Lokacije ni jasno določil, a pravilna smer je bila prisotna v njegovem miselnem procesu – to je za lokalni model 35B izrazito dobra zmogljivost.
Povzetek hitrosti
| Naloga | Model | Hitrost |
| Preprost klepet (z razmišljanjem) | Qwen 3.5 9B | 86 žetonov/s |
| Preprost klepet (brez razmišljanja) | Qwen 3.5 9B | 102 žetona/s |
| Ustvarjalno pisanje | Qwen 3.5 35B (Q8) | 28 žetonov/s |
| Matematična naloga | Qwen 3.5 35B (Q8) | 26,58 žetona/s |
| Programiranje (vzporedno) | Qwen 3.5 35B (Q8) | 19 žetonov/s |
Model 9B je bliskovit, a za zahtevnejše naloge premajhen. Različica 35B s Q8 je optimalna točka: dovolj pameten, da opravlja resnično delo, in dovolj hiter, da ni treba pri vsakem odgovoru čakati minut. Vzporedno izvajanje seveda upočasni hitrost žetonov, a ostane kljub temu uporabno – to je v produkcijskem okolju ključnega pomena.
Komu priporočamo?
SAPPHIRE AMD Radeon AI PRO R9700 ni za vsakogar – in to je v redu. Če nekdo preprosto želi vsakodnevno uporabljati umetno inteligenco, je naročnina na ChatGPT ali Claude cenejša in udobnejša rešitev. Obstaja pa jasno zamejeno ciljno občinstvo, za katero je ta kartica lahko prava prelomnica:
- Podjetja in družbe, kjer varnost podatkov ni neobvezna, ampak osnovna zahteva – odvetniške pisarne, računovodski servisi, ponudniki zdravstvenih storitev, finančni svetovalci
- Informacijske ekipe, ki bi rade postavile notranjega pomočnika z umetno inteligenco, ne da bi občutljivi podatki zapustili omrežje podjetja
- Razvijalci in navdušenci nad umetno inteligenco, ki bi radi eksperimentirali z odprtimi modeli in natančnim prilagajanjem ter za to potrebujejo zanesljivo, hitro strojno opremo
- Ustvarjalci vsebin, ki bi lokalno umetno inteligenco uporabljali za prepisovanje zvočnih posnetkov, obdelavo besedil ali analizo slik – in to tako, da gradivo nikoli ne zapusti računalnika
Povzetek
SAPPHIRE AMD Radeon AI PRO R9700 je pošten izdelek: počne točno tisto, za kar je bil zasnovan, in v tem je dober. Ne poskuša biti igralna grafična kartica, ne poskuša biti dober za vse – namesto tega na področju lokalnega izvajanja umetne inteligence ponuja prepričljivo zmogljivost, predvidljivo delovanje in resnično uporabnost. Testi z modelom Qwen 3.5 35B kažejo, da je dandanes že odprt model s srednjim številom parametrov sposoben pisati smiselna ustvarjalna besedila, generirati delujočo kodo, reševati matematične naloge in analizirati slike – vse to lokalno, brez tveganja uhajanja podatkov.
Stabilnost vzporednega opravljanja nalog in dosledne hitrosti žetonov kažejo, da ta kartica ni le hobi orodje, ampak lahko postane gradnik resnih delovnih postaj. Z debelo cenovno nalepko ni impulzivni nakup, a kdor razume, čemu je namenjena – zanj je naložba, ki se povrne.
