منظومة التقييم أكثر أجزاء نظام الذكاء الاصطناعي استهانةً بقيمتها. هي الفرق بين التطوير بثقة وإطلاق الأوامر النصية اعتمادًا على الانطباع.
ابدأ بالسلوك الذي تريده، لا بالمقياس. «يجب أن يرفض روبوت المحادثة الأسئلة الخارجة عن نطاقه بلباقة» سلوك. «دقة 90% على مجموعة التقييم» مقياس. ولا معنى للمقياس إلا بعد أن يُحدَّد السلوك جيدًا.
ابنِ مجموعة البيانات يدويًا لأول 100 مثال. نستخدم Excel أو Notion أو Linear، أيًّا كان ما يكتب فيه الفريق. نصنّف المدخلات والمخرجات المتوقعة، ونوسم كل مثال بالسلوك الذي يختبره.
وسّع المجموعة إلى 500–2,000 مثال بالتوليد الاصطناعي، مع مراجعة بشرية لكل مثال مولَّد. مجموعات التقييم المولَّدة وحدها تنحرف نحو تحيزات المولِّد، والمراجعة البشرية هي ما يصحح ذلك.
شغّل التقييم مع كل تغيير في الأوامر، وكل تغيير في الاسترجاع، وكل تغيير في النموذج. قيّم آليًا حيث تستطيع، ويدويًا حيث يجب. وتتبّع النتائج عبر الزمن كي تلاحظ أي تراجع.
منظومة التقييم هي أيضًا بوابة جاهزيتك للإطلاق. لا نفتح النظام لحركة الإنتاج حتى تتجاوز درجات التقييم حدًّا اتفقنا عليه مع العميل في الأسبوع الأول.
الذكاء الاصطناعي بلا تقييمات كالبرمجيات بلا اختبارات. أحيانًا يعمل، وكثيرًا لا يعمل. ولن تعرف حتى يخبرك عملاؤك، وحينها يكون قد كلّفك شيئًا بالفعل.
كتبه فريق brainiac/studio. ننشر عملًا أصليًا من المهندسين والمصممين والمسوّقين الذين يقومون بالعمل نفسه، ولا نُسند الكتابة إلى جهة خارجية.