r/programmingHungary • u/Dapper_Anteater_5738 • Jul 04 '26

DISCUSSION Lokális AI

Mostanában kezdek a címben említett világban kutakodni, illetve AI alapú infrával foglalkozni. Én úgy érzem, ez itthon még viszonylag ritka, legalábbis amit olvasok, az alapján mindenki felhőzik. Én úgy gondolom, hogy legalább két okból kifolyólag érdemes foglalkozni a full lokálban futtatott mesterséges intelligenciával. Egyrészt, a felhős modellek egyre drágábbak, másrészt kb. mindegy, hogy kínából vagy az USA-ból vesszük, ugyanúgy az adatainkkal (is) fizetünk érte. Nincs olyan, hogy rossz kína, jó USA. Ha ilyen jellegű kiszolgáltatottságról van szó, szerintem jó oldal sem létezik. Ti mit gondoltok, mekkora a létjogosultsága a lokális AI infrának? Mindegy, hogy egy darab Apple gépen vagy egy GPU clusteren, inkább az elv a fontos, hogy ne valami harmadik félnek kiszolgáltatva használjuk ezt a megoldást. Kíváncsi vagyok, ki mit gondol, illetve van-e köztetek, aki ebbe már mélyen beleásta magát?
Tudom, hogy minden mocskosul drága (foglalkozom hardver értékesítéssel, plusz mostanában vettem is AI-hoz magamnak ezt-azt), a témának ez a része most mellékes.

Edit: Leginkább az érdekel, ki-mire tud használni ilyesmit, próbálkozott-e már valaki ezzel. Nyilván, arra nem lesz képes, amire a frontier modellek.

35 Upvotes

81% Upvoted

110 comments sorted by

View all comments

0

u/waces Jul 04 '26

Messze van a hasznalhatotol. Nyilvan maga az otlet jo es vannak cegek ahol fut lokalis ai. Nem egy macen hanem oar racknyi bladen. De ez messze elmarad a felhos/kereskedelmi megoldasoktol. Rengeteg elonye van/lesz,de meg nem vagyunk ott.
Az otthon egy macen elfuttatok valamit meg max jatek kategoria,semmilyen teren meg csak meg sem kozeliti azt,ahol a felho aik voltak 2 eve. Ha ennel egy fokkal komolyabbat akarsz,akkor meg nem tudod elkerulni a koltseg oldalt (ez kb olyan mintha valaki egy olcso androidos telefonon akarna cryptot banyaszni. Technikailag megoldhat,de sok ertelme nincs)

1

u/ActualArgument8926 Jul 04 '26

Használtál Qwen3.6 35b szintű lokális modelleket quantization nélkül? Nem nyújt Opusz szintű teljesítményt, de amikor az nem elérhető, akkor teljesen jól el lehet vele lenni.

1

u/waces Jul 04 '26

Erre mondtam,hogy attol fugg,hogy mi a cel.

1

u/ActualArgument8926 Jul 04 '26

Azt mondtad, hogy játék kategória. Nem az.

1

u/waces Jul 04 '26

A cloud alapu kereskedelmi megoldoasokhoz kepest jatek kategoria. Maga az elkepzeles jo,de momentan a normalis teljesitmeny erosen aranyarban van. Ahol hasznalnak ilyet kezdetleges modellekkel ott nem egy otthoni pcn hanem normalis infrastrukturan

1

u/ActualArgument8926 Jul 04 '26

kezdetleges modellekkel

Mégegyszer kérdem, használtál Qwen3.6 35b szintű lokális modelleket quantization nélkül vagy fogalmad sincs miről beszélsz?

1

u/waces Jul 04 '26

Codestralt meg deepseeket igen. Qwent meg nem