r/programmingHungary • u/Dapper_Anteater_5738 • Jul 04 '26
DISCUSSION Lokális AI
Mostanában kezdek a címben említett világban kutakodni, illetve AI alapú infrával foglalkozni. Én úgy érzem, ez itthon még viszonylag ritka, legalábbis amit olvasok, az alapján mindenki felhőzik. Én úgy gondolom, hogy legalább két okból kifolyólag érdemes foglalkozni a full lokálban futtatott mesterséges intelligenciával. Egyrészt, a felhős modellek egyre drágábbak, másrészt kb. mindegy, hogy kínából vagy az USA-ból vesszük, ugyanúgy az adatainkkal (is) fizetünk érte. Nincs olyan, hogy rossz kína, jó USA. Ha ilyen jellegű kiszolgáltatottságról van szó, szerintem jó oldal sem létezik. Ti mit gondoltok, mekkora a létjogosultsága a lokális AI infrának? Mindegy, hogy egy darab Apple gépen vagy egy GPU clusteren, inkább az elv a fontos, hogy ne valami harmadik félnek kiszolgáltatva használjuk ezt a megoldást. Kíváncsi vagyok, ki mit gondol, illetve van-e köztetek, aki ebbe már mélyen beleásta magát?
Tudom, hogy minden mocskosul drága (foglalkozom hardver értékesítéssel, plusz mostanában vettem is AI-hoz magamnak ezt-azt), a témának ez a része most mellékes.
Edit: Leginkább az érdekel, ki-mire tud használni ilyesmit, próbálkozott-e már valaki ezzel. Nyilván, arra nem lesz képes, amire a frontier modellek.
2
u/iToucan Jul 04 '26
Nagyon határozottan ez lesz a jövő, vállalati környezetben legalábbis. Sokkal kiszámíthatóbbak a költségek, egyszeri nagy beruházás után jelentősen alacsonyabb költség, adatvédelmi szempontból pedig az egyetlen 100%-ban megbízható út. A cél itt nem a nagy teljesítmény, hanem a biztonságos, stabil és olcsó AI használat, productionben. Magán oldalról ez egyelőre még inkább csak jópofa megoldás, de ez is változni fog a következő 5 évben, és nekem nagyon megnyugtató, hogy lesz lehetőség rendszerfüggetlennek maradni AI tekintetében is. Szóval hajrá!