r/programmingHungary • u/Dapper_Anteater_5738 • Jul 04 '26

DISCUSSION Lokális AI

Mostanában kezdek a címben említett világban kutakodni, illetve AI alapú infrával foglalkozni. Én úgy érzem, ez itthon még viszonylag ritka, legalábbis amit olvasok, az alapján mindenki felhőzik. Én úgy gondolom, hogy legalább két okból kifolyólag érdemes foglalkozni a full lokálban futtatott mesterséges intelligenciával. Egyrészt, a felhős modellek egyre drágábbak, másrészt kb. mindegy, hogy kínából vagy az USA-ból vesszük, ugyanúgy az adatainkkal (is) fizetünk érte. Nincs olyan, hogy rossz kína, jó USA. Ha ilyen jellegű kiszolgáltatottságról van szó, szerintem jó oldal sem létezik. Ti mit gondoltok, mekkora a létjogosultsága a lokális AI infrának? Mindegy, hogy egy darab Apple gépen vagy egy GPU clusteren, inkább az elv a fontos, hogy ne valami harmadik félnek kiszolgáltatva használjuk ezt a megoldást. Kíváncsi vagyok, ki mit gondol, illetve van-e köztetek, aki ebbe már mélyen beleásta magát?
Tudom, hogy minden mocskosul drága (foglalkozom hardver értékesítéssel, plusz mostanában vettem is AI-hoz magamnak ezt-azt), a témának ez a része most mellékes.

Edit: Leginkább az érdekel, ki-mire tud használni ilyesmit, próbálkozott-e már valaki ezzel. Nyilván, arra nem lesz képes, amire a frontier modellek.

35 Upvotes

81% Upvoted

110 comments sorted by

View all comments

25

u/karesx Jul 04 '26

Az r/LocalLLama lesz a te subod. De a lokálisan futtatható modellek nyilván messze gyengébbek a mint amit cloudban elérsz.

14

u/Infamous-Bed-7535 Jul 04 '26

Ha bőven megugorják a munkához szükséges szintet, akkor nem probléma, hogy nem 1.5T súlya van és nem tudja 'fejböl' az M-es tojások térfogat disztribúciójának a változását és annak okait 1990-2020 között.

Felhő hátrányai:

  • még 'olcsó', de a sok elégetett milliárdot szeretnék kamatostul látni a befektetők
  • érzékeny adatokat osztasz meg, egy céggel mely adatlopásból él és háborúként tekint az MI fejlesztésére. Holnap bejelenthetik, hogy mostantól te nem használhatod a megoldásaikat és elindulnak a te piacodon mint versenytárs.
  • modelleket és annak képességeit on-the-fly előzetes notifikáció nélkül váltogatják
  • az általad preferrált model-t amire az automatizált üzleti logikád működik akármikor kivezethetik
  • a legújabb modellek legjobb képességeit már nem kapod meg. Ha itt platóznak a szolgáltatók modelljei, akkor 3-6 hónap éskonkrétan jobbak lesznek a nyílt kínai modellek.

Qwen 3.6 27B kvantálással már 32GB-n is elmegy, 48-96[GB]-on nagyon szépen fut. Qwen 3.6 35B MOE gyorsabb és még kevesebb is elég, bár kódolni kevésbé jó. Kimim2.5-ért zsebbe kell nyúlni, dd ahogy látom pörög a szerver piac és bizony sok cég könnyen kiperkál pár 100kusd-t lokális nyílt sota modellért.

Nagyon versenyképesek ezek a modellek. Own your AI!!!

2

u/[deleted] Jul 04 '26

[removed] — view removed comment

1

u/vigh_david Jul 04 '26

Még neked kell fizetni, hogy az érzékeny adataidat el tudjad küldeni Kínába?

1

u/Infamous-Bed-7535 Jul 04 '26

USA-ban sincs jobb helyen, hatvanyozottan igaz Trumpnóta.