كيف نختبر سلوك الوكيل فعلًا؟
تجيب الاختبارات المختلفة عن أسئلة مختلفة، ومعظم المهارة في الاختيار بينها.
بعد أن عرفنا ما هو الوكيل وممّ يتكوّن وبأي بيئة تشغيلية يعمل، يأتي السؤال التالي: كيف يتصرّف؟
اختبار الوكيل ليس سؤالًا واحدًا ولا مقياسًا واحدًا. فأنت تستطيع أن تختبر جودة جواب مفرد، أو ثبات السلوك عبر محادثة كاملة، أو مقاومة التلاعب، أو صحة استدعاءات الأدوات، أو ما إذا كان إجراء محظور قد نُفِّذ فعلًا. وكل طريقة ترى جزءًا من الصورة وتفوت أجزاء أخرى.
وإذا كنت جديدًا على التقييم، فابدأ بهذه القاعدة: اختر الاختبار من نوع الفشل الذي تريد أن تراه، لا من اسم الأداة التي لديك.
لماذا لا تكفي جولة واحدة؟#
في اختبار الجولة الواحدة تعطي الوكيل سؤالًا وتقرأ الجواب. وهذا مفيد لقياس أشياء كثيرة: هل الجواب واضح؟ هل هو داخل الموضوع؟ هل رفض طلبًا ضارًّا؟ هل فهم التعليمات الأساسية؟ ومن هنا تبدأ معظم الفرق، وهي بداية صحيحة.
لكن الوكيل يعمل عادةً عبر الزمن. فقد تكون الجولة الأولى ممتازة ثم يبدأ الانحراف في الرابعة. وقد يصمد أمام ضغط مباشر ثم ينهار بعد أن يغيّر المستخدم صياغة الطلب. وقد يختار الأداة الصحيحة أولًا ثم يستدعيها بوسيط خاطئ. وقد تدخل وثيقة مسترجَعة في الجولة السادسة فتغيّر السلوك من دون أن ينتبه أحد. وقد تُبقي خطوةُ تلخيصٍ على افتراض خاطئ، فتُلوِّث في صمت كل ما يأتي بعدها.
ولأن حالات الفشل هذه زمنية، وجب أن تكون الأدلة زمنية كذلك: نحفظ المسار كله، لا النتيجة النهائية وحدها. فقراءة الجواب الأخير فقط تشبه محاولة فهم حادثة سيارة من صورة للسيارة بعد الحادث، من دون رؤية الطريق ولا التسلسل الذي سبقها.
اختر الاختبار من نوع الفشل#
لا يوجد منهج تقييم أفضل من غيره دائمًا، بل مناهج ترى أشياء بعينها وتعمى عن غيرها. والأنفع أن تبدأ من الفشل الذي يقلقك وتسير رجوعًا منه.
| لرؤية | استخدم | يعمى عن |
|---|---|---|
| التنسيق، والرفض الأساسي، والقدرة | اختبارًا ساكنًا بجولة واحدة | كل ما ينشأ عبر الجولات |
| الانحراف والتآكل تحت الضغط | اختبارًا متعدد الجولات | الفشل الذي يحتاج إلى وثيقة معادية |
| الحقن، والتلاعب، والإعفاء من السياسة | اختبارًا خصوميًّا متعدد الجولات | المدخلات التي لم يتخيّلها أحد |
| هل نُفِّذ فعلًا أمر محظور | فحصًا حتميًّا لسجل التتبع | كل ما هو دلالي |
| الاستناد، والنبرة، وهرمية التعليمات | مُحكّمًا قائمًا على نموذج لغوي كبير (LLM Judge) | تباينه هو |
| حكمًا تستطيع الدفاع عنه | إجماع هيئة المحكّمين | التحيّز الذي يشترك فيه كل المحكّمين |
| ما حدث، ومنه استدعاءات الأدوات | مراجعة السجلات وسجلات التتبع | كل ما لم تُجهَّز له أدوات الرصد |
| مستخدمين حقيقيين، وحالة أدوات حقيقية، وتكتيكات جديدة | الرصد في بيئة الإنتاج | كل ما قبل النشر |
الجدول لا يقول إن إحدى الطرق أفضل دائمًا، بل يقول إن لكل سؤال أداةً أنسب. فإذا أردت أن تعرف هل استدعى الوكيل أداة ممنوعة، أو هل جرى المساس بمسار حسّاس، أو هل يقابل الإجراءَ المُدَّعى استدعاءُ أداةٍ فعلي، فهذه وقائع في دفق الأحداث تحسمها الشِفرة البرمجية بالمقارنة، لا النموذج اللغوي.
وإذا أردت أن تعرف هل أجاب الوكيل بطريقة مراوغة تخالف نية السياسة، فهذا سؤال دلالي يحتاج إلى حكم: هل كان الادعاء مستندًا إلى مصدر، وهل بقي الوكيل داخل السياسة، وهل احترم هرمية التعليمات حين ضغط عليه أحد.
وأفضل التقييمات تمزج الاثنين: فحوص حتمية للأحداث التي يمكن إثباتها مباشرة، وتحكيم دلالي لما يحتاج تفسيرًا. والتقرير القوي يُبقي النوعين معًا.
ستة مقاييس أساسية في ProofAgent#
داخل إطار التقييم ProofAgent Harness نستخدم ستة مقاييس سلوكية رئيسية. تُحتسب درجاتها على سلّم 0–10 داخليًّا وتُعرض بنسب مئوية. والأسماء البرمجية تبقى كما هي في التقرير وفي ملف JSON، بينما تُعرض معانيها للقارئ بالعربية.
| المقياس | السؤال الذي يجيب عنه |
|---|---|
task_success | هل حقّق الوكيل الهدف كاملًا؟ |
hallucination_resistance | هل بقي مستندًا إلى ما أُعطي له فعلًا؟ |
safety | هل رفض الطلبات الضارة وحمى البيانات؟ |
instruction_following | هل التزم موجّه النظام في كل جولة؟ |
manipulation_resistance | هل حافظ على حدوده تحت الهندسة الاجتماعية؟ |
tool_use | هل استخدم الأدوات استخدامًا صحيحًا وصادقًا؟ |
وهذه المقاييس ليست قائمة كاملة بكل ما قد يهمّ أي مؤسسة، لكنها تغطي مساحة كبيرة من سلوك الوكلاء. والأوزان والعتبات قابلة للتخصيص بحسب الحالة.
والمقياس الأخير أوسع مما يوحي اسمه، ويحمل وزنًا خاصًّا لأن الوكيل قد يفشل فيه حتى لو لم تكن له أدوات أصلًا. فالوكيل الذي يقول «أعدتُ المبلغ» أو «صعّدتُ الأمر» من دون أن ينفّذ شيئًا لم يفشل في القدرة، بل في الصدق، وهذا تضليل تشغيلي. أما الوكيل الذي يقول بوضوح ما فعله وما لم يفعله، ويصرّح بأنه لا يستطيع تنفيذ الإجراء، فيجتاز.
الدرجة المنخفضة ليست تشخيصًا#
إذا حصل الوكيل على 48% في السلامة، فأنت تعرف أين تنظر، لكنك لا تعرف بعد ما الذي حدث. هل سرّب بيانات؟ هل نفّذ فعلًا خطيرًا؟ هل تجاهل سياسة بعد ضغط اجتماعي؟ قد تُنتج الأسباب الثلاثة رقمًا متقاربًا، لكن المعالجة مختلفة تمامًا.
خُذ مثالًا: ثلاثة وكلاء يحصلون على درجة السلامة نفسها لأسباب لا صلة بينها. أحدهم أفشى رقم حساب كاملًا، والثاني أسقط سياسة موثَّقة بعد أن ادّعى المستخدم موافقة مديره، والثالث استدعى أداة الاسترداد بدل أداة التصعيد. الرقم واحد؛ أما التصحيح والمالك المسؤول وتبعة قرار النشر فمختلفة في كل حالة.
لذلك لا تكتب نتائجك بصيغة «السلامة منخفضة». اكتب النمط: ماذا فشل؟ وأين؟ وما الدليل؟ وما السبب الجذري؟ وما التبعة؟ ومن يملك الإصلاح؟
العتبات ينبغي أن تتبع سلطة التنفيذ#
لا توجد عتبة سحرية تصلح لكل وكيل. فالهلوسة في مساعد لتوليد الأفكار مصدر إزعاج، والهلوسة نفسها في وكيل يقدّم قرارًا ماليًّا أو صحيًّا قد تكون سببًا للحجب. اضبط كل عتبة على قدر سلطة التنفيذ التي يملكها الوكيل، لا على سلّم عام.
وحدِّد مقدَّمًا المقاييس التي يجوز لها أن تحجب النشر منفردة. في الوكلاء ذوي التبعات تكون تلك القائمة قصيرة عادةً: السلامة، واستخدام الأدوات، ومقاومة الهلوسة حيثما كان شخص سيتصرّف بناءً على ادعاء واقعي. لكن القرار يجب أن يتبع حالة الاستخدام لا قالبًا عامًّا.
لكن السلوك نصف الصورة فقط. وقبل أن نرى كيف يُنتج ProofAgent هذه الأدلة، علينا أن نفهم لماذا يبدأ كثير من الفشل السلوكي في مكان آخر تمامًا: في البيئة المعلوماتية التي بنيناها حول الوكيل.
السلوك مسار. وكل ما يحتسب الدرجة على الجواب الأخير وحده أعمى عن أهم حالات الفشل.
حوِّل هذا الفصل إلى عمل على وكيل واحد بعينه. فالعتبات المختارة على قدر مستوى حقيقي لسلطة التنفيذ أيسر في الدفاع عنها لاحقًا بكثير من أرقام مختارة بحسب إحساس عام بالجودة.