Lokalni AI modeli za podjetja: kaj deluje brez oblaka

Niso vsi podatki za oblak

Pošiljanje besedila v OpenAI ali Anthropic je hitro, ceneno in priročno. Za večino primerov je pravi pristop. A obstaja pomembna skupina primerov, kjer ni: banke, zdravstveni izvajalci, pravniške pisarne, podjetja s tajnimi razvojnimi podatki, državni sektor in vsi, ki imajo pogodbene zaveze, da podatki ne smejo iz njihove infrastrukture.

Do 2024 je bil odgovor preprost: AI ni za vas. V 2026 to ni več res. Lokalni odprtokodni modeli so dosegli kakovost, ki je za večino poslovnih primerov dovolj. Spodaj kaj realno deluje, kaj ne in kaj stane.

Kateri modeli so v 2026 uporabni

Tri družine odprtih modelov so v 2026 produkcijsko zrele:

• Llama (Meta). Široka uporaba, dobra podpora, modeli velikosti od majhnih (1B parametrov) do velikih (70B+). Najbolj razširjena izbira.
• Gemma (Google). Optimizirana za manjše naprave. Dobra za primere, kjer ne potrebujete velike kontekstne dolžine.
• Qwen (Alibaba). Močan v večjezičnem okolju. Posebej dober za slovenščino in druge manjše jezike.

Vsi so brezplačni za poslovno uporabo (z licenčnimi opombami, ki jih je dobro prebrati). Vsi se lahko poganjajo lokalno na strojni opremi, ki jo lahko kupite in postavite v svoji infrastrukturi.

Kaj lokalni model dobro zmore

• Klasifikacija besedila. Razvrščanje e-pošte, prijav, dokumentov v kategorije.
• Povzetki. Kratek povzetek dolgega besedila, sestanka, niza sporočil.
• Izluščanje ključnih podatkov. Iz nestrukturiranega besedila izlušči datume, imena, zneske in jih spravi v strukturirano obliko.
• Osnovni pogovor. Klepetalnik za pogosta vprašanja, kjer odgovor temelji na vaših internih dokumentih.
• Pomoč pri pisanju. Osnutki e-pošte, ponudb, poročil. Človek vedno pregleda.

Za vse našteto je lokalni model velikosti 7B do 13B parametrov dovolj. Tak model teče na posameznem strežniku z eno boljšo grafično kartico.

Česa lokalni model ne zmore tako dobro kot komercialni

• Kompleksno večstopenjsko razmišljanje. Komercialni modeli (GPT-5, Claude Opus, Gemini Ultra) so v tem opazno boljši. Za naloge, kjer mora model razmisliti o problemu v več korakih, je razlika vidna.
• Nišne strokovne domene. Komercialni modeli imajo več podatkov o redkih temah. Lokalni je včasih površen.
• Najnovejše informacije. Lokalni model je zamrznjen v času. Za stvari, ki se hitro spreminjajo, je manj uporaben.
• Najboljše generiranje besedila. Komercialni modeli pišejo bolj naravno. Razlika je manjša, a obstaja.

Praktično: za 80 odstotkov poslovnih primerov je lokalni dovolj. Za 20 odstotkov, kjer potrebujete vrhunsko kakovost ali zelo specifično znanje, je komercialni boljši.

Strojna oprema, ki jo potrebujete

Za večino poslovnih primerov:

• En strežnik z eno NVIDIA grafično kartico (RTX 4090, A6000 ali podobno)
• 64 do 128 GB sistemskega pomnilnika
• SSD za hitro nalaganje modelov
• Standardno strežniško okolje (Linux, Docker)

Stroški: nakup take strojne opreme znaša 5.000 do 15.000 EUR enkratno, odvisno od izbire grafične kartice. Mesečno plačujete samo elektriko in vzdrževanje, ne API klicev.

Pri večjih obsegih (več sto uporabnikov sočasno) potrebujete močnejšo postavitev, a večina podjetij s 30 do 200 zaposlenimi spada v zgornjo kategorijo.

Stroški v primerjavi z oblakom

Pri komercialni rešitvi plačujete na klic. Pri tipičnem klepetalniku, ki obravnava 100 vprašanj dnevno, mesečni stroški znašajo 50 do 200 EUR. Pri večjem agentu, ki opravi tisoče klicev dnevno, lahko hitro narastejo na 500 do 2.000 EUR mesečno. Ti stroški rastejo s količino uporabe.

Pri lokalnem modelu plačate enkrat strojno opremo. Tekoči stroški so elektrika (50 do 150 EUR mesečno za en strežnik) in občasno vzdrževanje. Stroški ne rastejo z uporabo.

Točka, na kateri se lokalni splača: pri stalni mesečni porabi nad 300 EUR pri komercialnem ponudniku se lokalna postavitev pri tipični strojni opremi povrne v 18 do 36 mesecih.

Konkretni primeri uporabe

Banka: triaža prihajajočih sporočil

Stranke pošiljajo sporočila preko portala. Lokalni model jih razvrsti v kategorije (informacijska zahteva, reklamacija, prijava goljufije, druge). Pravilno razvrščeno gre takoj v pravi proces. Občutljivi podatki strank ne zapustijo banke.

Pravniška pisarna: povzetki dokumentov

Pravnik dobi 50-stransko sodbo. Lokalni model pripravi povzetek v petih točkah. Pravnik prebere povzetek, odloči, ali je sodba relevantna, šele potem prebere celoto. Vsebina sodbe ne gre v zunanji oblak.

Razvojno podjetje: pomoč pri kodi

Razvijalci uporabljajo asistenta za kodiranje, ki teče lokalno. Koda projekta, vključno z intelektualno lastnino, ostane v podjetju. Enako uporabno kot komercialni asistenti pri rutinski kodi, slabše pri zelo kompleksnih nalogah.

Pasti pri lokalni postavitvi

Posodabljanje modelov

Komercialni ponudniki sami posodabljajo modele. Pri lokalni postavitvi morate to narediti vi. Vsakih nekaj mesecev pride boljša verzija. Načrtujte čas za migracijo.

Spremljanje kakovosti

Lokalni model bo občasno haluciniral, podobno kot komercialni. Spremljanje, kaj odgovarja in kdaj je narobe, je vaša odgovornost. Brez tega kakovost pade neopazno.

Strojna oprema je strošek

Grafična kartica za 8.000 EUR ne sme stati neuporabljena. Načrtujte uporabo, ki upraviči nakup. Če bi imeli uporabe za 100 EUR mesečno API klicev, lokalni nakup ni smiseln.

Kdaj se odločiti za lokalno

Lokalni AI je smiseln, če zaznate vsaj eno od:

• Pravna ali pogodbena prepoved pošiljanja podatkov v zunanji oblak
• Stalna mesečna poraba nad 300 EUR pri komercialnem ponudniku
• Občutljiva intelektualna lastnina, ki ne sme zapustiti podjetja
• Stranke, ki eksplicitno zahtevajo lokalno obdelavo svojih podatkov

V vseh ostalih primerih je oblak praktičnejši. Začnite tam, preselite kasneje, če dokažete vrednost in naredite stroškovni izračun.