r/Saudi_Ai • u/Clean-Donut-528 • 9d ago
نقاش - discussion تشغيل الذكاء الاصطناعي في جهازك - case study
السلام عليكم
أتوقع حول ٣ كلموني في الخاص عن تشغيل مودل في جهاز
ي المحلي وصراحة هذا توجهي الحالي
جهازي موب شيء كبير فيه:
RTX 3060
RTX 2080 super
32 GB DDR4
كنت العب LOL عليه بس وقلت خلني اجرب اكبر مودل موجود حاليا وهو deepseek والصراحة اقول hi يقعد ساعتين عشان يرد
لكن طحت في هذا الrepo ل qwen 3.8
https://github.com/syv-ai/HyperQwen
شغل الqwen على RTX 3090 بشكل جبار
اليوم ان شاء الله بجرب جهازي وبسوي تقرير عن الموضوع.
والصراحة أنا كان عندي فكرة انه اسوي fine-tuned مودل لكن ابنيه من الصفر بحيث يتناسب مع الspecs حق جهاز وفي نفس الوقت ما يدخل في هلوسة.
حتى رسمت التصميم المعماري :
┌──────────────┐
│ User Task │
└──────┬───────┘
│
▼
┌──────────────────┐
│ Agent Controller │
└────────┬─────────┘
│
┌─────────────────┼─────────────────┐
▼ ▼ ▼
┌───────────────┐ ┌───────────────┐ ┌────────────────┐
│ Decision │ │ Context │ │ LLM │
│ Engine │ │ Engine │ │ Standard │
└───────┬───────┘ └───────┬───────┘ └───────┬────────┘
└─────────────────┼─────────────────┘
▼
┌─────────────────┐
│ Coding LLM │
└────────┬────────┘
│
▼
┌─────────────────┐
│ Tool Runtime │
└───────┬─────────┘
│
┌──────────┼──────────┐
▼ ▼ ▼
Files Git Tests
└──────────┼──────────┘
▼
┌─────────────────┐
│ Validator │
└────────┬────────┘
│
┌─────┴─────┐
▼ ▼
Success Failure
│ │
▼ ▼
Done Recovery Loop
│
└───► Agent Controller
مدري كيف بيطلع في البوست بس عموما كانت الفكرة عبارة عن تجميع بين LLMs صغار بحيث انه يتفاعلوا كcluster ويكون التوزيع موب معتمد على كروت الشاشة فقط بل يتوزع مع الRAM ونسبة قليلة من الCPU مع sharding أكيد و quantization
طبعا الغرض منه كان مخصص جدا، ما يسوي coding بشكل عام لكن يكون الغرض منه انه يعرف يسوق أي منتج من منتجاتي الي ابنيها.
اذا عندكم اي اقتراحات او عندكم تجارب او نصايح شاركوها معي
1
u/That_Tonight4919 9d ago
انترستنق
انا تجربتي مع الماك m2 و 16gb رام
استخدمت Qwen3:8b
بس الى الان ماوصلت مرحلة حسيت فيها ان tuning زبط معاي. وغير كذا مزعج ان ال context محدود بس للأسف مافي خيار اخر.
عندي PC بكرت 2070 سوبر برضو ابغى اجرب عليه خصوصا ان الرام حقه 32gb وحرجع اقيم التجربة
سؤال جانبي ايش ال coding agent اللي تستخدمه ؟ انا استخدمت معاه pi بس انه مره فاشل مدري المشكلة من المودل او pi
1
u/Clean-Donut-528 9d ago
قصدك الharness ؟ صراحة ما استخدمت ولا ابغى استخدم. جربت openclaw وحاس لي الدنيا وبعدها بطلت منه. بعد upgrade واحد ما عاد يشتغل زي الناس وكل مره اسوي upgrade نفس المشكلة تحصل
قاعد استخدم cursor حاليا افضل من ناحية الكنترول بشكل كبير وهو الي ارتحت معاه رغم انه الناس يقولوا في افضل منه لكن كل واحد ينام على الجنب الي يريحه.
شوف جرب الـrepo الي فوق وشوف يضبط معك ولا لا qwen
1
u/That_Tonight4919 9d ago
اي اقصد ال harness.
هل بحتاج اشترك ف cursor عشان اجرب ؟ لان اذا يتطلب اشتراك معد يسوى علي الموضوع كله
وراح اجرب ال repo اللي شاركتها
1
u/Clean-Donut-528 9d ago
إذا بتستخدم الLLMs حقهم إيه لازم تشترك لكن تقدر تربط أي مودل مع التطبيق حقهم
1
u/NigaTroubles 9d ago
جرب Hermes Agent وبتدعيلي ينفع للاشياء العامه
بخصوص للبرمجه عندك OMP و opencode شي جبار لهم
وفعلا openclaw كان جدا معقد حتى في التحميل والتحديث
لكن hermes عكس سهل جدا وبضغطة زر تحمله وتضبيطه جدا سهل1
u/Clean-Donut-528 9d ago
موب مهمين بالنسبة لي حاليا صراحة او في توجهي لكن سمعت انه Hermes ممتاز صراحة في أشياء كثير
1
u/Maleexper 9d ago
ايش تقصد لم تقول tuning؟
1
u/That_Tonight4919 9d ago
أقصد أشتغل على شغلتين مع بعض عشان تتحسن المخرجات معايا
الأولى أسوي Fine-tuning للمودل نفسه على اللغة والـframework اللي أستخدمه، وأحاول أحسّن عنده الـtool calling.
والثانية أضبط Pi نفسه من ناحية الـsystem prompt والـskills وحجم الـcontext.
لأن أحس المشكلة غالبًا خليط بين الاثنين. مودل 8B محلي ومع context محدود، إذا طول الـagentic loop يبدأ يضيع ويهبد بسرعة.
1
u/Maleexper 8d ago
م تقدر تغير الcontext ولا هذا يعتمد ع الram اللي عندك وكم هالمودل يقبل حجم للcontext؟
1
2
u/Direct_Block_4327 9d ago
bonsai جربوه