معظم العروض التوضيحية لوكلاء الذكاء الاصطناعي مبهرة، ومعظم الوكلاء في الإنتاج محرجون. والفجوة بينهما ليست في النموذج، بل في كل ما يتجاهله العرض التوضيحي عن قصد: المدخلات الرديئة، وأعطال الأدوات غير المتوقعة، والحالات الطرفية التي لم تكن في بيانات التدريب، والمستخدمون الذين يختبرون الحدود لحظة يشعرون بوجودها.
أول ما نفعله، قبل كتابة أي أمر نصي، هو تحديد ما يُسمح للوكيل بفعله، والأهم ما لا يُسمح له بفعله. وكيل دعم العملاء القادر على إصدار المبالغ المستردة يحتاج إلى قواعد صريحة تحدد متى يرفض، لا لأننا لا نثق بالنموذج، بل لأن النموذج لا يتحمل أي عاقبة وأنت تتحملها. الضوابط المكتوبة بلغة واضحة قبل أول سطر من الشيفرة تفرض وضوحًا يوفّر أسابيع من التعديل لاحقًا.
ثم التقييمات، قبل أي عمل على تجربة المستخدم. نكتب من 100 إلى 300 حالة اختبار تغطي المسار السليم، والحالات الطرفية، والحالات التي ينبغي فيها للوكيل أن يعتذر بلباقة. نمنحها درجات، ويصبح ذلك الرقم هو المعيار: كل تغيير لاحق إما يحسّنه وإما نتراجع عنه. من دون هذا الأساس أنت تُطلق اعتمادًا على الانطباع، وستدفع الثمن في الثانية فجرًا.
أنماط الفشل تستحق وقت تصميم أكثر من المسارات السليمة. ماذا يحدث حين يعيد استدعاء أداة خطأ 500؟ وحين يطلب المستخدم من الوكيل شيئًا لم يُصمَّم له؟ وحين تمتلئ نافذة السياق في منتصف المهمة؟ الوكلاء الذين يفشلون بأناقة، بشرح واضح ومسار للتحويل إلى إنسان، يحفظون ثقة المستخدم. والذين يفشلون بصمت، أو يخطئون بثقة، يهدمونها.
قابلية المراقبة غير قابلة للتفاوض. كل استدعاء أداة، وكل رد من النموذج، وكل مدخل من المستخدم، يُسجَّل بمعرّف تتبع يربط الجلسة كلها. حين يشتكي مستخدم من إجابة سيئة صباح يوم ثلاثاء، تريد أن تعيد تشغيل الجلسة نفسها في أقل من ستين ثانية. من دون التتبع، كل بلاغ عن خلل لعبة تخمين.
مشكلة الثقة الزائدة هي الأصعب حلًّا. النماذج اللغوية فصيحة، وتقدّم الإجابة الخاطئة بنبرة الإجابة الصحيحة نفسها. والعلاج ليس أن تطلب من النموذج أن يقول «لست متأكدًا»، فهذا لا يعمل بانتظام. العلاج هو إسناد الإجابات إلى محتوى مسترجَع، وتقدير درجة الثقة، وتقييد النطاق: لا يجيب الوكيل إلا عن أسئلة في مجالات قِست دقته فيها ووجدتها مقبولة.
الوكلاء الذين يصمدون في الإنتاج مملّون بالطريقة الصحيحة. يؤدون عددًا قليلًا من المهام بموثوقية، ويرفضون بوضوح ما يقع خارج نطاقهم، ويحوّلون إلى إنسان حين تنخفض الثقة، ويتحسنون تدريجيًا، تحسينًا واحدًا في التقييم كل مرة. أطلق هذه النسخة أولًا. النسخة الطموحة تأتي بعد أن تكسب الثقة.
كتبه فريق brainiac/studio. ننشر عملًا أصليًا من المهندسين والمصممين والمسوّقين الذين يقومون بالعمل نفسه، ولا نُسند الكتابة إلى جهة خارجية.