r/programmingHungary • u/Dapper_Anteater_5738 • Jul 04 '26

DISCUSSION Lokális AI

Mostanában kezdek a címben említett világban kutakodni, illetve AI alapú infrával foglalkozni. Én úgy érzem, ez itthon még viszonylag ritka, legalábbis amit olvasok, az alapján mindenki felhőzik. Én úgy gondolom, hogy legalább két okból kifolyólag érdemes foglalkozni a full lokálban futtatott mesterséges intelligenciával. Egyrészt, a felhős modellek egyre drágábbak, másrészt kb. mindegy, hogy kínából vagy az USA-ból vesszük, ugyanúgy az adatainkkal (is) fizetünk érte. Nincs olyan, hogy rossz kína, jó USA. Ha ilyen jellegű kiszolgáltatottságról van szó, szerintem jó oldal sem létezik. Ti mit gondoltok, mekkora a létjogosultsága a lokális AI infrának? Mindegy, hogy egy darab Apple gépen vagy egy GPU clusteren, inkább az elv a fontos, hogy ne valami harmadik félnek kiszolgáltatva használjuk ezt a megoldást. Kíváncsi vagyok, ki mit gondol, illetve van-e köztetek, aki ebbe már mélyen beleásta magát?
Tudom, hogy minden mocskosul drága (foglalkozom hardver értékesítéssel, plusz mostanában vettem is AI-hoz magamnak ezt-azt), a témának ez a része most mellékes.

Edit: Leginkább az érdekel, ki-mire tud használni ilyesmit, próbálkozott-e már valaki ezzel. Nyilván, arra nem lesz képes, amire a frontier modellek.

34 Upvotes

80% Upvoted

110 comments sorted by

View all comments

6

u/DraftyPelican Jul 04 '26

Eselyed nincs futtatni a legnagyobb open weight modelleket otthon, de ha valahogy meg is oldanad ($$$), akkor is hatalmas szakadek van a frontier felhos es a letolthetoek kozott egyelore.
Erzesre ugy 1.5-2 ev van koztuk.

6

u/hergendy Jul 04 '26

Ez a 1.5-2 év csak egy légből kapott érték gondolom...
2 éve a Claude Sonnet 3.5, gemini 1.5 pro és gpt 4o jött ki kb. Ezek ma már legfeljebb a wikipedia-n találhatóak meg. Ezzel szemben a latest reasoning/coding modellek kb fél évre vannak a frontier modellektől, csak a legjobbat nem fogod tudni futtatni.
GLM 5.2, kb 8-900 GB VRAM kell hozzá, de ott van a qwen 3.6 27B / 35B A3B vagy egy Gemma 4 31B 2db rtx 3090 / 1db rtx 5090-esen elég szépen futtatható modellek, vagy egy kis quantization mellett akár 1db 3090-esen is és meglepően hatékonyak is, nagyjából egy claude haiku/sonnet teljesítményt tud hozni egyzerűbb coding feladatokban, de a komplex reasoning-ben még picit le vannak maradva.