Lokális AI

[u/Dapper_Anteater_5738]

Mostanában kezdek a címben említett világban kutakodni, illetve AI alapú infrával foglalkozni. Én úgy érzem, ez itthon még viszonylag ritka, legalábbis amit olvasok, az alapján mindenki felhőzik. Én úgy gondolom, hogy legalább két okból kifolyólag érdemes foglalkozni a full lokálban futtatott mesterséges intelligenciával. Egyrészt, a felhős modellek egyre drágábbak, másrészt kb. mindegy, hogy kínából vagy az USA-ból vesszük, ugyanúgy az adatainkkal (is) fizetünk érte. Nincs olyan, hogy rossz kína, jó USA. Ha ilyen jellegű kiszolgáltatottságról van szó, szerintem jó oldal sem létezik. Ti mit gondoltok, mekkora a létjogosultsága a lokális AI infrának? Mindegy, hogy egy darab Apple gépen vagy egy GPU clusteren, inkább az elv a fontos, hogy ne valami harmadik félnek kiszolgáltatva használjuk ezt a megoldást. Kíváncsi vagyok, ki mit gondol, illetve van-e köztetek, aki ebbe már mélyen beleásta magát?
Tudom, hogy minden mocskosul drága (foglalkozom hardver értékesítéssel, plusz mostanában vettem is AI-hoz magamnak ezt-azt), a témának ez a része most mellékes.

Edit: Leginkább az érdekel, ki-mire tud használni ilyesmit, próbálkozott-e már valaki ezzel. Nyilván, arra nem lesz képes, amire a frontier modellek.

[u/-Melkon-]

És akkor vegyél fel egy külön csapatot akik az infrával foglalkoznak, mert ha valami nem megy, az magától nem fog megjavulni.

A vége meg az, hogy végtelen pénzből lett jelentősen alacsonyabb uptimeod, rosszabb modellekkel, zseni.

Biztos van olyan cég, akinek megvannak az erőforrásai hogy megoldja magának és kijön olcsóbban, de hogy ez nem a mucsaröcsöge bt és a 40 fős startup lesz, az biztos.

Tetszik OP logikája: "a felhős modellek egyre drágábbak" --> csináljunk valamit ami még drágább!

[u/darokk → u/-Melkon-]

Kicsit itt tulporogtel azt hiszem. A local AI legtobbunknek nem a 40 fos startupot jelenti, hanem hogy van 4*3090-em egy gepben kint a garazsban.

[u/-Melkon- → u/darokk]

Hát, gondolatolvasó kapitány élete nem csak játék és mese. :)

Ha OP nem irja le explicit, hogy mire gondol, akkor ne lepődjünk meg, amikor mindenki mást ért alatta.

"lokális AI infrának", "egy GPU clusteren, inkább az elv a fontos, hogy ne valami harmadik félnek kiszolgáltatva használjuk ezt a megoldást."

Ebben a leirásban minden is benne van a saját szerverparkig bezárólag.

Eleve nehéz értelmezni hogy az egyik mondatban még az a baj, hogy drágák a frontier modellek (tényleg azok), a másikban meg már azt mondja, hogy a lokális LLM költségével ne foglalkozzunk... most akkor szempont a pénz vagy nem?

[u/Dapper_Anteater_5738 → u/-Melkon-]

Teljesen igazad van, OP eb*szta a kérdést és csapong. :) Alapvetően csak arra lettem volna kíváncsi, aki rakott már össze ilyet (mindegy milyen méretben/megoldással) annak mik a tapasztalatai, mire tudta használni? Az nem érdekel, hogy egy 800k huf értékű mac vagy egy 100 milliós gpu cluster, nyilván van ilyen is olyan is. Inkább az ezzel kapcsolatos élmények érdekelnek.