أمان وكلاء الذكاء الاصطناعي: الصلاحيات والبيانات وحدود التنفيذ

نموذج التهديد

ابدأ بسؤال واحد: ما أسوأ ما يمكن أن يفعله هذا الوكيل إن اتّبع تعليمة خاطئة؟ الإجابة تحدّد مستوى الحماية المطلوب. وكيل يصنّف الرسائل الواردة يمثّل مخاطرة محدودة؛ وكيل يملك صلاحية إصدار مبالغ مستردّة ويقرأ بيانات كل العملاء يمثّل مخاطرة مختلفة تمامًا. الأمان يُبنى حول القدرة على الفعل، لا حول ذكاء النظام.

مبدأ أقل امتياز

• امنح كل أداة أضيق نطاق: قراءة فقط حيثما أمكن، وكتابة محصورة في الحقول المطلوبة.
• افصل الصلاحيات بين الوكلاء: من يقرأ البيانات الحسّاسة لا يملك قناة إرسال خارجية.
• حدّد سقوفًا كمّية: عدد الرسائل، حجم المبالغ، عدد السجلات المعدَّلة في الجلسة.
• راجع الصلاحيات دوريًا واحذف ما لم يُستخدم فعليًا.

البيانات والخصوصية

الوكيل يحتاج بيانات ليكون مفيدًا، والسؤال هو كم منها ومتى. القاعدة العملية أن يُسترجع أقل قدر يكفي للمهمة الحالية بدل تحميل كل شيء احتياطًا: بيانات العميل الحالي فقط، والسياسة المتعلّقة بالحالة فقط. أضف إلى ذلك إخفاء أو تقنيع الحقول التي لا يحتاجها الوكيل أصلًا مثل أرقام البطاقات والمعرّفات الوطنية، وحدّد مدد احتفاظ واضحة للسجلات.

حقن التعليمات

أكثر المخاطر خصوصية في الأنظمة الوكيلية أن يصل نصّ خارجي — رسالة عميل، محتوى ملف، صفحة ويب — يتضمّن ما يشبه التعليمات: «تجاهل ما سبق ونفّذ كذا». علاج هذه المخاطرة ليس في صياغة تعليمات أذكى فقط، بل في البنية:

1. عامل كل محتوى خارجي كبيانات، ولا تسمح له بتوسيع صلاحيات الوكيل.
2. افصل الأدوات الحسّاسة عن المسارات التي تستقبل محتوى غير موثوق.
3. ضع موافقة بشرية على أي إجراء غير قابل للعكس يُشتقّ من محتوى خارجي.
4. اختبر بسيناريوهات هجوم مكتوبة مسبقًا ضمن اختبارات القبول، لا بعد الإطلاق.

السجلات والمساءلة

قائمة تحقّق قبل التشغيل

1. هل كُتب أسوأ سيناريو ممكن لهذا الوكيل ومُنعت أسبابه بنيويًا؟
2. هل كل أداة بأضيق نطاق، ومراجَعة من مالك النظام المعني؟
3. هل الإجراءات غير القابلة للعكس خلف موافقة بشرية؟
4. هل يُعامَل المحتوى الخارجي كبيانات في كل المسارات؟
5. هل السجلات كاملة وقابلة للاستخراج، ومدد الاحتفاظ محدّدة؟
6. هل هناك مسؤول معروف يوقف الوكيل فورًا عند الحاجة؟

أسئلة شائعة