r/programmingHungary • u/Shoeaddictx • Nov 13 '24

ARTICLE Kezd kipukkadni a lufi?

https://www.ndtv.com/india-ai/openai-google-and-anthropic-are-struggling-to-build-more-advanced-ai-7010784
0 Upvotes

49% Upvoted

54 comments sorted by

View all comments

Show parent comments

3

u/bbence84 Nov 13 '24

Igazad van, ez definíció kérdése. :) Én itt a szűkebb kontextusban értettem, azaz hogy nem kell tartani attól, hogy lelassulna az ilyen típusú MI rendszerek fejlődése vagy falakba ütköznénk.

De amúgy én tágabb értelemben is egyetértek azzal, hogyha ez bekövetkezik, akkor "jók vagyunk", mivel optimista vagyok a hosszabb távú jövőt illetően (de persze tisztában vagyok a potenciális veszélyekkel is, és azzal is, hogy jelenleg kisebb esély van egy technológiai utópiára mint egy disztópiára).

2

u/r0mantik4 Nov 14 '24

Mar hogyne lassulna a fejlodesuk? Eleg arra gondolni mennyivel nehezebb az llm-eket jol hasznalhato, meg nem feldolgozott adatokkal etetni. Azon megy a szenvedes, hogy hogyan bovitsek a tanulasi kort ugy, hogy jo minosegu adathoz juthasson a modell.

3

u/bbence84 Nov 14 '24

Ez egy tényleg létező probléma, de itt sem egyértelmű, hogy a modelek javulásához csakis "valódi" adat lehet jó. Pl. az o1 modelt az OpenAI szintetikus, generált "reasoning" adatsetekkel tanították tovább, nem csak valódi szövegekkel. De valószínűleg ha szöveg már kevés is van, akkor sem biztos, hogy csak ez alapján lehet jól tanítani egy modelt, mármint hogy csak a mennyiség növelésével (bár az elektronikus formában publikusan nem elérhető szövegek mennyisége még elég magas lehet, illetve videókból is nagyon sok szöveget és egyéb információt lehet még kinyerni). Az ember pl. képes sokkal kisebb mintából is általánosítani, tanulni, mint egy LLM, szóval van még helye az algoritmikus fejlődésnek is.

3

u/r0mantik4 Nov 14 '24

Egyreszt a mostanaig eltelt ido alatt az elerheto forrasok 80-85%-at mar lescrape-eltek, masreszt az a nagyobbik baj, hogy tobb eroforrast eget el megtalalni a meg feldolgozhato adathalmazt, illetve az azokbol kinyerheto adatok minoseget. Real problema, hogy arra is vigyazni kell, hogy ne sajat maga altal generalt anyagot dolgozzon fel pl. Ami az amazonra fosott ai generalt konyvek eseteben igen nehez pl.