السياق: البيئة الخفية التي تصنع سلوك الوكيل
كثير من حالات فشل الوكلاء يبدأ قبل أن يُنتج النموذج أول رمز (token).
حين يفشل وكيل، أول ما نقوله غالبًا: «النموذج أخطأ». لكن كثيرًا من الفشل يبدأ قبل أن يولّد النموذج أول كلمة. يبدأ في ما وضعناه حوله من تعليمات ووثائق وذاكرة ونتائج أدوات.
هندسة السياق هي تصميم ما يصل إلى النموذج في زمن التشغيل: ماذا يعرف، وما الذي يثق به، وما الذي يتذكّره، وكيف نميّز بين التعليمات والدليل، وكيف نمنع محتوى غير موثوق من التسلل إلى قناة السلطة. وهي البُعد Q من أبعاد الجاهزية، وهي عند معظم الفرق أسرع موضع لتحسين الوكيل تحسينًا قابلًا للقياس، لأن تغييرها ممكن هذا الأسبوع دون إعادة تدريب أي شيء.
وإذا كنت غير تقني، ففكّر في السياق كملف العمل الذي تضعه أمام موظف قبل أن تطلب منه قرارًا. كفاءة الموظف مهمة، لكن إذا كان الملف ناقصًا أو متناقضًا أو يحتوي تعليمات مزيّفة، فستتأثر النتيجة.
ما الذي يصل إلى السياق؟#
في أي جولة، يرى النموذج كتلة نص واحدة مجمَّعة من مصادر شديدة الاختلاف في درجة الثقة وفي الغرض.
ولكل مصدر من هذه المصادر مكانة مختلفة. وتسمية هذه المكانة صراحةً هي جوهر هندسة السياق كلها.
- تعليمات النظام القواعد العليا التي نريد من الوكيل اتباعها، وتتقدّم على كل ما عداها.
- طلب المستخدم نيّة أو سؤال، وليس تفويضًا بتغيير السياسة.
- الوثيقة المسترجَعة دليل ومصدر، لا تعليم بحال.
- مُخرَج الأداة مشاهدة من نظام آخر، ويجب أن يحمل تتبّع مصدره.
- الذاكرة معلومات سابقة قد تكون صحيحة أو متقادمة أو ناقصة.
- ناتج وكيل آخر ادّعاء يحتاج إلى مصدر وسياق، لا حقيقة تلقائية.
بالنسبة إلى النموذج، كل هذه الأشياء تصل في صورة نص أو بنية بيانات. فالجملة في موجّه نظامك والجملة داخل ملف PDF مسترجَع كلتاهما نص في النافذة، لا أكثر. لذلك يجب أن يصنع النظام نفسه الفرق بين «هذا أمر موثوق» و«هذا محتوى نقرأه»، وأن تُنفِذه الطبقة التي تجمّع السياق. وإذا لم يفعل، فإن صفحة ويب أو مرفقًا يستطيع أن ينافس موجّه النظام.
ومتى صارت هذه الفئات صريحة، أتيحت قواعد نافعة: التعليمات تتقدّم على الأدلة، والمحتوى غير الموثوق لا يستطيع إدخال سياسة، والذاكرة المتقادمة قابلة للاعتراض، والوقائع عالية الأثر تتطلب تتبّع المصدر. أما الإعفاء المحقون الذي يهزم وكيل المدفوعات لاحقًا في الفصل 16 فيتلاشى في اللحظة التي يُوسَم فيها المرفق دليلًا بدل أن يُدمَج في قناة التعليمات.
سبعة معايير لفحص جودة السياق#
نُقيِّم السياق قبل استدعاء الوكيل أصلًا. نقرأ موجّه النظام، ونقرأ مخططات الأدوات، وننظر هل وُفِّرت للوكيل مجموعة وثائق معرفية أم لا.
| المعيار | ما يتحقق منه | الفشل النمطي |
|---|---|---|
| وضوح الوظيفة | الوظيفة والنطاق والأهداف ومعايير النجاح صريحة | انحراف الهدف |
| تغطية ضوابط الحماية | الرفض والتصعيد والإجراءات المقيَّدة محددة | الاستجابة غير الآمنة للطلب |
| اتساق التعليمات | التوجيهات متماسكة ومرتَّبة بحسب الأسبقية | تعارض القواعد |
| جودة مخطط الأداة | الأسماء والوسائط والآثار الجانبية وموعد الاستدعاء واضحة | سوء استخدام الأدوات |
| كفاية الاستناد | تتوفر أدلة موثوقة كافية للادعاءات التي يجب أن يقدّمها | الهلوسة |
| التحصين ضد الحقن | التعليمات الموثوقة مفصولة عن المحتوى غير الموثوق | حقن الموجّهات |
| كفاءة الرموز | السياق يصرف ميزانيته على الموثوقية | تضخّم السياق |
وهذه المعايير مصمَّمة لكي تُقرأ قبل تشغيل الاختبار السلوكي. فإذا رأيت ضعفًا في التحصين ضد الحقن، توقّعتَ مشكلة في مقاومة التلاعب. وإذا كانت كفاية الاستناد ضعيفة، توقّعتَ هلوسة أعلى. بهذه الطريقة يصبح تقييم السياق تنبؤًا، لا وصفًا بعد وقوع المشكلة.
وتُقيَّم المعايير السبعة كلها، لكن خمسة منها فقط تدخل في الدرجة المركبة. فاتساق التعليمات وكفاءة الرموز يُبلَّغ عنهما ويُستثنيان من الحساب عن قصد، لأن كليهما قد يبدو ممتازًا ببساطة عندما يكون الموجّه قصيرًا جدًّا، وهذا قد يعكس قلة المحتوى لا الجودة. فالموجّه الفارغ تقريبًا لا يحمل ما يتناقض ولا حشوًا يُقتطع.
والمثال ملموس. على موجّه نحيل عن قصد بطول 450 حرفًا، سجّل هذان المعيارَان 90% و80%، فرفعا درجة السياق الكلية لهذا الموجّه فوق درجة موجّه أفضل منه كثيرًا بطول 1,033 حرفًا، وقلبا الترتيب. والمعيار الذي يرتفع كلما فرغت المادة المُقيَّمة لا يصلح دليلًا على الجودة، فأنزلنا رتبته بدل الدفاع عنه.
ماذا حدث عندما غيّرنا السياق وحده؟#
نحتسب درجة السياق بمعزل عن السلوك عن قصد. فلو استخرجناها من نتائج السلوك، لما استطاعت أن تتنبأ بها؛ أما وهي مستقلة، فتصبح إشارة تقرؤها قبل أن يكشف أي سيناريو نقطة ضعف.
وفي الدراسة التي تقوم عليها نتائج هذا الفصل ثبّتنا نموذج الوكيل وغيّرنا البيئة المعلوماتية من حوله وحدها، في ثلاث حالات وثلاثة مجالات خاضعة للتنظيم. بنينا الحالة C1 «سياق ضعيف»، والحالة C2 «سياق مهيكل»، والحالة C3 «سياق محصَّن».
في C1 كانت الوظيفة غامضة، وتوجيه الأدوات ضعيفًا، والاستناد محدودًا، وتغطية ضوابط الحماية شحيحة. وفي C2 أضفنا وظيفة ونطاقًا واضحين، ومخططات أدوات محددة الأنواع، ومصادر استناد خاصة بالمجال. وفي C3 أضفنا شروط رفض وتصعيد صريحة، وعتبات تصعيد، وفصلًا للمحتوى غير الموثوق ضد الحقن، ومتطلبات لتأكيد الإجراء.
والنتيجة الأهم عملية: الانتقال من سياق ضعيف إلى سياق مهيكل رفع السلوك الكلي تقريبًا إلى الضعف، وخفض متوسط حالات الفشل الحرجة من 4.11 إلى 1.33 لكل تشغيل، من دون تغيير النموذج. ثم رفع التحصين جودة السياق أكثر، من 8.08 إلى 8.68، بينما استقرّت الدرجات السلوكية عند مستواها ولم تعد ترتفع — فعند تلك النقطة لم تبقَ حالات الفشل المتبقية حالاتِ فشل في السياق.
وهذا لا يعني أن السياق يحلّ كل شيء. بل يعني أن بعض ما نصفه «ضعف نموذج» هو في الحقيقة ضعف في البيئة التي بنيناها حوله.
وتتصرّف المعايير كما صُمِّمت، فيتنبأ كل معيار بالنتيجة التي بُني للتنبؤ بها.
كفاية الاستناد تتنبأ بمقاومة الهلوسة. وتغطية ضوابط الحماية تتنبأ بمقاومة التلاعب. واتساق التعليمات يرتبط بالالتزام بالتعليمات. وجودة مخطط الأداة ترتبط بصحة استخدام الأدوات. وهذا هو سبب فائدة البُعد Q في الحوكمة: يخبرك بأي سلوك تتوقع فشله، قبل أن تراه يفشل.
السياق يتحرك مع كل جولة#
السياق ليس وثيقة ثابتة. فنتيجة أداة تُضاف وتصبح دليلًا جديدًا. وصفحة مسترجَعة تُدخل نصًّا غير موثوق. ويحلّ ملخَّص مكان السجل الخام للمحادثة. ويرسل وكيل فرعي استنتاجًا. لذلك قد تبدأ الجلسة بموجّه مصمَّم بعناية وتنتهي بسياق متدهور.
ولهذا يجب أن نعامل هندسة السياق كتخصص في زمن التشغيل لا كمراجعة وثيقة. فلا يكفي أن نراجع موجّه النظام مرة واحدة ثم نضع علامة «تم».
الذاكرة مسار كتابة يحتاج إلى حوكمة#
تحتاج الذاكرة إلى قواعد خاصة بها للسبب نفسه. اسأل أربعة أسئلة: ما الذي يجوز كتابته؟ ومن يكتبه، وبأي تتبّع للمصدر؟ وكم يبقى؟ وكيف نصححه إذا كان خاطئًا؟
وأي قيد يمسّ السلامة أو التزامًا قانونيًّا أو استحقاقًا ماليًّا ينبغي أن يصمد طول الجلسة، فلا تسمح لخطوة تلخيص أن تُسقطه. ومتى فُقد قيد متعلق بالسلامة، فالأجدر تسجيله نتيجةَ سلامة لا نتيجةَ ذاكرة، لأن هذا ما ستكون عليه التبعة.
وفي الممارسة، تحسين السياق من أسرع التحسينات الممكنة وأكثرها إتاحةً. فأنت على الأرجح لا تستطيع تدريب نموذج جديد هذا الشهر، لكنك تستطيع اليوم أن تفصل المحتوى غير الموثوق، وتحسّن مخططات الأدوات وتُعطيها أنواعًا محددة، وتحدّد مصادر استناد موثوقة، وتكتب قواعد تصعيد واضحة. وقياس ذلك يحوّل العمل إلى حلقة: تقييم، ثم تغيير، ثم إعادة تقييم، ثم مقارنة.
النموذج القوي العامل في سياق ضعيف قد ينتج وكيلًا غير موثوق.
احتسب درجة السياق قبل اختبار السلوك، ثم استخدم المعايير الضعيفة تنبؤات. هذا أسرع تحسين متاح لمعظم الفرق، لأن السياق قابل للتغيير هذا الأسبوع دون إعادة تدريب أي شيء.