مشروع livenerf يقيس بالأرقام ما إذا كان أداء Claude Opus 5.5 يتراجع بعد إطلاقه
الإحساس بتراجع جودة نموذج لا يثبت شيئًا، لكن عدّاد الـ tokens قد يفعل. فخفض مستوى التفكير يغيّر الاستهلاك بأكثر مما يغيّر الدقة.
Sebastian Raschka يقيس تاريخ تصنيف النصوص: bag-of-words تحقق 89.9% وأحدث نموذج 96.47%
الفارق بين الطريقة الأبسط والنموذج الأكبر قد يكون بضع نقاط وقد يكون صفرًا، ولا يظهر إلا بالقياس على بيانات المنتج نفسه، قبل الالتزام بتكلفة API على كل طلب.
OpenAI تصلح خللًا في ترميز الصور أضعف فهم GPT-6 Sol وLuna للصور في أيامهما الثلاثة الأولى
التقييمات التي أُجريت على النموذجين في أيامهما الأولى قاست خللًا في خطوة قبل النموذج لا النموذج نفسه، والانطباع الذي تكوّن حينها قد يبقى بعد زوال سببه.
اختبار على 16 نموذجًا: جملة واحدة في الـ prompt خفضت الحقول المختلقة في استخراج البيانات من 70.7% إلى 20.2%
من يستخرج بيانات بنموذج لغوي دون تعليمة صريحة للحقول الغائبة قد يحصل على حقل مختلق من كل ثلاثة حقول ناقصة، بشكل سليم لا يلفت النظر. وخدمة مدفوعة واحدة كانت أسوأ من معظم النماذج.
مقال ينتقد موجة النماذج التي تعيد نسبة ثقة: الرقم لا يعني شيئًا دون calibration وتكلفة للخطأ
نسبة الثقة قد تؤدي وظيفة نفسية أكثر منها هندسية، إذ تمنح شعورًا بالتحكم في المخاطرة دون قياسها، ويظهر ذلك بعد الإطلاق حين يُسأل عن مصدر الحد الفاصل.
نموذج Mercury 2.5 من Inception يولّد 770 توكن في الثانية بتقنية diffusion
فئة النموذج السريع والرخيص والأقل ذكاء صار فيها مرشح جدي، فأصبح اختيار النموذج قرار منتج يتعلق بما ينتظره المستخدم، لا قرارًا تقنيًا فقط.
SpaceXAI تطلق Grok 4.7 بسعر النسخة السابقة نفسه، وجدولها يُظهر تأخره في البرمجة
حين يكون النموذج أرخص بفارق كبير وأضعف بفارق قابل للقياس، يصبح الاختيار بين النماذج قرارًا بحسب شكل المهمة لا بحسب ترتيب الجداول.
اختبار StarCraft بين 19 إعدادًا لنماذج الذكاء الاصطناعي يكشف أن التنسيق هو نقطة ضعف الـ agents
حين يكون الوقت جزءًا من المهمة، يصبح التفكير الإضافي تكلفة لا ميزة، ويصبح فشل التنسيق بين الـ agents أخطر من ضعف النموذج نفسه.
قياس ByteShape لنسخ Qwen 3.8 27B المضغوطة يُظهر فروقًا تقل عن 1% في الجودة
في تشغيل النماذج محليًا، القرار الحاسم ليس اختيار النموذج بل اختيار نسخته المضغوطة، وهو الطريق الوحيد المتاح لمن لا يملك وسيلة دفع دولية.
مطور Wild يفسّر تناقض نتائج مقارنة الأداء مع Mold: الفرق في طريقة القياس
الرقم نفسه كان صحيحًا في المرتين، والإعداد هو الذي روى قصتين متعاكستين. أول سؤال أمام أي اختبار أداء ليس من فاز، بل كيف قيس.
دراسة من UC Berkeley: النموذج نفسه ينجح بالنسبة نفسها تقريبًا بتكلفة مضاعفة حسب أداة التشغيل
جزء من فاتورة الـ coding agents لا يذهب إلى العمل بل إلى السياق الذي ترسله الأداة في أول نداء، ويُدفع تلقائيًا عند قبول الأداة الافتراضية دون مقارنة.
Xiaomi تفتح لوحة علنية تعرض تدريب نماذج MiMo لحظة بلحظة بما فيها الأعطال
جدول النتائج النهائي يخبر بالنتيجة، أما اللوحة الحية فتكشف التكلفة: التشغيلات التي توقفت، والبيانات التي حُذفت، والساعات التي ضاعت في خطأ لم يُكتشف.
Jay Kruer يشرح لماذا يبقى متشائمًا من الـ LLMs رغم نتائجها في الرياضيات
المسائل الرياضية هي أفضل حالة ممكنة للنماذج لأن مواصفاتها دقيقة، بينما معظم العمل البرمجي اليومي بلا مواصفة مكتوبة، وكتابتها أغلى من البناء نفسه.
Trail of Bits تعيد حساب اختبار 1Password لإصلاح الثغرات بالذكاء الاصطناعي: من 26% إلى 86%
تصميم التجربة يحدد الرقم قبل أن تبدأ، وقراءة المنهجية قبل النتيجة هي الفرق بين رأي مبني على قياس ورأي مبني على ظروف لا يعمل بها أحد.
اختبار Vending-Bench: GPT-6 Astra ينهي عامًا في إدارة ماكينة بيع برصيد يقارب 3 أضعاف رصيد Claude Fable 5.1
أكبر خسائر الـ agent في مهمة طويلة جاءت من ضعف المتابعة لا من نقص الذكاء، والاختبار الذي يقيس ردًا واحدًا لا يكشف ما يحدث لـ agent يعمل أسبوعين.
اختبار Real-SWE على كود شركات مغلق: أفضل نموذج يحل 38.8% فقط من المهام
الفجوة بين أرقام إعلانات النماذج وأدائها على مستودعات الفرق الحقيقية قد لا تعود إلى صياغة الطلب، بل إلى أن الاختبارات الشهيرة مبنية على كود رآه النموذج أثناء تدريبه.
قياس مستقل: أداة RTK التي تعد بتوفير 90% من الـ tokens رفعت التكلفة
نسب التوفير التي تعلنها الأدوات محسوبة على الجزء الذي تعمل عليه وحده، لا على الفاتورة كاملة، والفرق بين الرقمين قد يقلب النتيجة.
Cognition تطلق SWE-2 وتقول إنه أرخص بنسبة 64% دون نشر سعر للـ token
نسبة توفير بلا سعر أساس معلن لا تدخل في أي حساب، ونموذج بلا API مستقل ولا أوزان مفتوحة هو اشتراك في منتج أكثر منه نموذجًا يُبنى عليه.
تجربة Quesma: نسخة 17 GB من Qwen3.8 27B تساوي النسخة الكاملة على Terminal-Bench
الخلاف حول ضرر الضغط على النماذج يحسمه عدد الـ bits: عند 4 bits لا فرق يُذكر ويكفي كارت واحد، وعند 1 bit ينهار النموذج.
Artificial Analysis ترفع وزن الاختبارات الخاصة إلى 40% في مؤشر Intelligence Index v4.2
الاختبار المنشور يتسرّب مع الوقت إلى بيانات التدريب، فتقيس الدرجة أن النموذج رأى السؤال لا أنه يعرف حله، والمرتبة الأولى في الترتيب العام لا تعني الأفضل في كل مهمة.
قياس مستقل من Artificial Analysis: Claude Fable 5.1 أدق من GPT-6 Astra، وAstra أرخص للمهمة
سعر الـ token المتطابق لا يعني فاتورة متطابقة. فالنموذج الأدق يستهلك ضعف الـ tokens، والمقارنة الصحيحة تكون على بيئة اختبار واحدة لا بين جدولين.
اختبار SWE-bench Verified يقترب من التشبع وأعلى 3 نماذج تتقارب في حدود نقطة واحدة
حين يتجاوز الجميع 95% في اختبار واحد، يصبح الرقم دليلًا على الانتماء إلى المجموعة لا على التفوق، ويصعب معه التمييز بين نموذج أرخص قريب فعلًا ونموذج لا يرى الاختبار الفرق بينهما.
Claude Fable 5.1 بضعف سعر Opus 5، وأرقام Anthropic تُظهر أن الفرق في الدقة يتبع نوع المهمة
القرار الحقيقي ليس أي نموذج أقوى، بل هل تستفيد المهمة من تفكير إضافي. وإعداد الـ effort الافتراضي، الذي لا يراجعه أحد، قد يحدد الفاتورة أكثر من اسم النموذج.
DeepSeek V4 Flash بسعر 0.14 دولار للمليون token وتحت رخصة MIT، وV4 Pro-Max يسجل 80.6% على SWE-bench
العائق أمام تشغيل نموذج قوي على خوادم الفريق نفسه لم يكن الرخصة بل التكلفة والقدرة، وكلاهما يتحرك بسرعة. لكن السعر المنخفض للـ API لا يعني أن التشغيل الذاتي مجاني.
DeepSeek تطلق V4-Flash-0731 بأوزان MIT ويتفوق على نسختها الأكبر في اختبارات البرمجة
التحسن هنا جاء من التدريب اللاحق وحده دون تغيير المعمارية، ومع رخصة MIT يصبح نموذج قادر على العمل البرمجي متاحًا للتشغيل الذاتي دون ربطه بحساب أو قرار خارجي.
Alibaba تعرض Qwen3.8-Max-Preview بـ 2.4 تريليون parameter دون أرقام أداء أو موعد للأوزان
الرقم الضخم في عنوان إعلان النموذج لا يكفي لاتخاذ قرار، فالأرقام الغائبة عن الإعلان هي التي تحدد الجودة والتكلفة وإمكانية التشغيل المحلي.
ملاحظة نصية في رد أداة read_file ترفع أداء Nemotron 3 Ultra دون إعادة تدريب
جزء مما يبدو ضعفًا في النموذج هو في الحقيقة أدوات تعيد نتائج ناقصة دون أن تعلن ذلك، وإصلاح الأداة قد يغني عن تبديل النموذج.
مع تزاحم إصدارات 2026، اختيار نموذج الذكاء الاصطناعي يصبح قرار ملاءمة لا ترتيب
النموذج الأول في جداول الترتيب قد يكون الخامس في مهمة بعينها، والسعر والسرعة والإتاحة في المنطقة تحسم الاختيار بقدر ما يحسمه رقم الاختبار.