معهد AISI البريطاني يرصد 19 حالة تصرف فيها agent على الإنترنت دون تصريح أثناء اختبارات أمنية
تعليمات الـ prompt ليست وسيلة تحكم بل رجاء، والعزل الذي يعتمد على التزام النموذج بمهمته يسقط حين يجد الـ agent طريقًا أقصر خارجها.
وسم
تعليمات الـ prompt ليست وسيلة تحكم بل رجاء، والعزل الذي يعتمد على التزام النموذج بمهمته يسقط حين يجد الـ agent طريقًا أقصر خارجها.
تكلفة الـ agent لا تُحسب بسعر الـ tokens وحده، فهناك عدّاد ثانٍ يرتفع كلما أعاد الـ agent المحاولة، وقد يظهر أثره كاملًا في فاتورة سبتمبر.
الحل لمشكلة agent يستهلك ذاكرة الجهاز لم يأتِ من الموديل ولا من الـ prompt، بل من نظام التشغيل، ومشكلات الـ agents تتحول تدريجيًا إلى مشكلات تشغيل عادية.
الـ agent يعيد إرسال السياق في كل خطوة، لذلك لا يعني نصف السعر نصف الفاتورة فقط، بل فرقًا يتضاعف مع كل خطوة، حتى ينتهي السعر التعريفي في 31 ديسمبر.
فاتورة نموذج الذكاء الاصطناعي لم تعد مرتبطة بالنموذج وحده بل بساعة الاستخدام أيضًا، وأكبر زيادة وقعت على البند الذي تعتمد عليه الـ agents أكثر من غيرها.
حين يُقيَّم النموذج على دقة قراره بعدم الرد وعلى ترك الدور لشخص أنسب، يصبح الصمت خاصية لها مقياس، لا عجزًا في المنتج.
حين يرث الـ subagent الـ prompt cache لا يدفع مجددًا ثمن قراءة السياق نفسه، وحين تتراسل الجلسات بالاسم يصبح الجهاز الواحد أقرب إلى فريق صغير من الوكلاء.
أداة بُنيت لتسهيل بناء pipelines الذكاء الاصطناعي أُغلقت لأن الـ coding agents صارت تنجز العمل نفسه بسهولة أكبر، والرخصة المفتوحة هي ما أبقى الكود في أيدي مستخدميها.
المساعد الذكي يرفع قيمة كلمة المرور المسروقة، لأن المهاجم يسأل بدل أن يقرأ آلاف الرسائل، وأسئلته تبدو استخدامًا طبيعيًا لا تلتقطه أدوات الكشف.
حين يقرأ agent نصًا يكتبه أي غريب، ويعمل في المكان نفسه الذي تُحفظ فيه المفاتيح، يصبح كل repo عام بهذا الإعداد مفتوحًا لمن يجيد كتابة تعليق.
حين تنتقل الحالة من الاتصال إلى البيانات، يصبح خادم MCP قابلًا للتشغيل على VPS صغير خلف load balancer عادي، دون Redis ولا جلسات ملتصقة بنسخة بعينها.
في الاختبار أوقف الـ classifier 89% من الأوامر الخطرة مقابل 13.6% للموافقة اليدوية، وهو رقم يقول عن عادة الضغط دون قراءة أكثر مما يقول عن الأداة.
أي agent يقرأ من مصدر يستطيع طرف خارجي الكتابة فيه، ويملك أداة تصل إلى الخارج، هو قناة تسريب محتملة بطبيعته إلى أن يثبت العكس.
خط الدفاع الحقيقي عند تشغيل agent ليس الـ sandbox وحده، بل كل أداة على الجهاز تقرأ من مجلد المشروع وتنفّذ ما فيه خارج العزل.
الذكاء الاصطناعي لم يرفع قدرة المهاجم بقدر ما خفّض تكلفته، فمسح الإنترنت وتجربة الثغرات على آلاف الخوادم صار يحتاج اشتراكًا وسكريبتًا، ولم يعد أي خادم صغيرًا بما يكفي ليُتجاهل.
اكتشاف الثغرات تسارع بدرجة هائلة بينما يسير إصلاحها بسرعة متطوعين يعملون بعد دوامهم، وشجرة الـ dependencies لم تتغير لكن ما بداخلها صار معروفًا.
نافذة الموافقة هي معظم الأمان الذي يعتمد عليه من يشغّل agent على مستودع حقيقي، وإذا أمكن التلاعب بما تعرضه صارت الموافقة قرارًا على نص غير النص الذي سيُنفَّذ.
الطبقة التي ترى كل ما يسأله الموظفون وكل نظام يصلون إليه صارت قابلة للتشغيل على خوادم الشركة نفسها، فيتغير جواب السؤال الذي يؤخر تبني الذكاء الاصطناعي: أين تذهب البيانات.
سوق يكون فيه البائع خادمًا والمشتري برنامجًا يُبنى الآن، وطبقة الدفع فيه تتشكل في هذه المرحلة، وهي المرحلة التي يمكن فيها الدخول إليها لا الانتظار عليها.
السؤال لم يعد مقدار الثقة في الـ agent، بل كيف يعمل دون أن يرى السر أصلًا. والأول يُحل بسياسة، أما الثاني فيُحل بتصميم النظام.
حين يقرأ الـ agent صندوق البريد، يصبح أي شخص في العالم قادرًا على وضع نص أمامه، والنص قد يحمل تعليمات موجهة إليه وهو يملك صلاحية الإرسال.
حين يُعطى الوكيل هدفًا رقميًا ومالًا وصلاحيات دون قيد على الوسيلة، يختار أرخص طريق إلى الرقم، والرقم المزيف دائمًا أرخص من الحقيقي.
كانت كلفة الكود المتضخم تُدفع من وقت المطورين فيسهل تأجيلها، ومع وكلاء AI صارت تظهر أرقامًا في فاتورة شهرية.
حين يرى الوكيل نتيجة الكود على الشاشة، يلتقط أخطاء لا وجود لها في الكود نفسه، ومنها أعطال الواجهات العربية واتجاه RTL التي لا يكشفها إلا النظر.
حين يتغير شكل المنتج تتغير المهارات التي يحتاجها، ولا تنتقل شركة بُنيت لأداة إدارة مهام إلى مساحة عمل للوكلاء بمجرد إعادة توزيع موظفيها.
تحالف من مشغّلي الأنظمة يستطيع توحيد طبقة الصلاحيات والحدود حول الوكلاء، لكنه لا يملك أي أداة على سلوك النموذج نفسه، وهي الطبقة التي لا يصلحها إلا من يدرّبه.
لم تُضف قدرة جديدة إلى الوكيل، بل أُزيلت خطوة تأكيد واحدة، وطبقة الأمان في كثير من أدوات الوكلاء تقوم على هذا المفتاح وحده.
كلما اتسعت الصلاحيات الممنوحة لوكلاء الذكاء الاصطناعي، تحول الخطر من سرقة البيانات إلى انتحال هوية صاحبها بوكيل يواصل العمل باسمه.
التسريب وقع لأن الأداة كانت ترفع البيانات إلى خادم لا يتحكم فيه المستخدم، والحل الذي ظهر لاحقًا هو إمكانية تشغيلها كليًا على جهازه.
استقلالية الوكيل بلا سقف ليست رخيصة، وكلما مُنحت الأداة صلاحيات أوسع احتاج من يدفع الفاتورة إلى حدود أوضح لا أقل.