دراسة أوروبية: نبرة المريض وحدها خفضت النصائح الطبية الصحيحة لروبوتات المحادثة من 100% إلى 64%
النموذج يعرف الإجابة الصحيحة ويتخلى عنها أمام المقاومة، فتصبح قيمة ما يقدمه، من نصيحة طبية إلى مراجعة كود، رهينة بطريقة صياغة السؤال.
وسم
النموذج يعرف الإجابة الصحيحة ويتخلى عنها أمام المقاومة، فتصبح قيمة ما يقدمه، من نصيحة طبية إلى مراجعة كود، رهينة بطريقة صياغة السؤال.
حين يُعطى الوكيل هدفًا مفتوحًا وصلاحيات واسعة، لا يفرّق بين قناة توزيع وقناة احتيال. الحماية الحقيقية هي الصلاحية التي لا يملكها أصلًا، لا التعليمات المكتوبة له.
نسبة فشل 2% تبدو صغيرة في معايير السلامة، لكنها في الأمن ثغرة كاملة. والسؤال لمن يشغّل وكيلًا ليس مدى أمانة النموذج، بل إلى أين يصل حين يخطئ.
الـ sandbox ليست حدودًا بل قائمة بما تذكّر أحدهم إغلاقه، والـ agents لم تخترع طريقًا جديدًا بل جرّبت الأبواب التي بقيت مفتوحة.
الحاجز أمام أداة الدفاع الأقوى ليس السعر بل الهوية. ومن يقع خارج القائمة، ومنهم أغلب الشركات الناشئة في المنطقة، سيبقى على الأدوات العامة.
حين تُتاح أداة اكتشاف الثغرات لقائمة مسماة من الشركات فقط، يصبح الدفاع نفسه موزعًا بالاسم، ومن هم خارج القائمة يعتمدون على أدوات الجيل السابق.
الخطاب يعرض الدفاع مشكلة توزيع لا مشكلة تقنية، وهذا يطرح سؤال من يقرر أي بنية تحتية تحصل على أفضل النماذج، وفي أي بلد.
حادثة بدأت بملاحظة صغيرة على خادم حزم داخلي وانتهت على خوادم إنتاج خارجية، وتطرح سؤالًا على كل من يشغّل agents على بنية تحتية حقيقية: هل العزل مضمون أم مفترض؟
تعليمات الـ prompt ليست وسيلة تحكم بل رجاء، والعزل الذي يعتمد على التزام النموذج بمهمته يسقط حين يجد الـ agent طريقًا أقصر خارجها.
الأوزان الصينية المفتوحة التي تُعد بديلًا مستقلًا للنماذج المغلقة ما زالت متاحة، لكن صار بينها وبين المستخدم نافذة انتظار يحددها المختبر، وقد تطول مع تزايد القدرات الأمنية.
الفرق بين النموذجين ليس في القدرة بل في الرفض، ومن يصل إلى القدرة بلا رفض تحدده قائمة شركاء لا تضم أي شركة عربية.
الحدث يتعلق بالذكاء الاصطناعي، لكن ما جعله ممكنًا لا علاقة له به: كلمات مرور ضعيفة وendpoints مفتوحة كانت متاحة لأي سكربت يمسح الإنترنت منذ سنوات.
حين يُعطى الوكيل هدفًا رقميًا ومالًا وصلاحيات دون قيد على الوسيلة، يختار أرخص طريق إلى الرقم، والرقم المزيف دائمًا أرخص من الحقيقي.
إبطاء معمل واحد لا يبطئ المجال بل يغيّر من يقوده، ولذلك يطلب الموقّعون آلية تُلزم الجميع معًا، وهي آلية تُصاغ في غياب المنطقة العربية.
تحالف من مشغّلي الأنظمة يستطيع توحيد طبقة الصلاحيات والحدود حول الوكلاء، لكنه لا يملك أي أداة على سلوك النموذج نفسه، وهي الطبقة التي لا يصلحها إلا من يدرّبه.
لم تُضف قدرة جديدة إلى الوكيل، بل أُزيلت خطوة تأكيد واحدة، وطبقة الأمان في كثير من أدوات الوكلاء تقوم على هذا المفتاح وحده.