كل عرض توضيحي تقريبًا لأنظمة RAG رأيناه في العامين الماضيين يبدو كالسحر، وكل نظام RAG في الإنتاج طُلب منا إصلاحه في الأشهر الاثني عشر الأخيرة تقريبًا كان يعاني المشكلات نفسها. الفجوة بين العرض التوضيحي والإنتاج ليست في النموذج، بل في كل ما يحيط به.
حين نسلّم نظام توليد معزز بالاسترجاع (RAG)، فأول ما نبنيه هو منظومة التقييم. لا الأوامر النصية، ولا خط معالجة التضمينات. منظومة التقييم أولًا: عادةً من 200 إلى 2,000 مثال مرجعي تمثل الأسئلة التي يجب أن يجيب عنها النظام، مع الإجابات التي نعرف أنها صحيحة.
من دون هذه المنظومة، كل تغيير على النظام تخمين. ومعها، كل تغيير يُقاس. وبعد ستة أشهر، حين يُحدَّث النموذج، تعرف بنقرة واحدة إن كان التحديث قد حسّن الأداء أو أضرّ به.
ثاني ما نبنيه هو الاسترجاع الهجين. خوارزمية BM25 تلتقط ما يفوت البحث المتجهي، وإعادة الترتيب تلتقط ما يفوت الاسترجاع الهجين، وإعادة صياغة الاستعلام تعالج ما تفسده الأسئلة الرديئة. كل طبقة من هذه تضيف قدرًا يمكن قياسه من دقة الاستدعاء، وينبغي أن تعرف أيّها يقوم بالعمل فعلًا.
الثالث، وهو ما تتخطاه معظم الفرق، هو قابلية المراقبة. كل عملية استرجاع، وكل أمر نصي، وكل إجابة، تُسجَّل بمعرّف تتبع يربطها بسؤال المستخدم الأصلي. حين يقع خطأ بعد ستة أشهر، تريد أن تجيب عن سؤال «لماذا أجاب بهذا؟» في أقل من دقيقة.
تقنية RAG من أنفع ما يمكن بناؤه اليوم. وهي أيضًا من أسهل ما يُصنع منه عرض توضيحي، ومن أصعب ما يُبقى حيًّا في الإنتاج. لا تتخطَّ الأجزاء غير البرّاقة.
كتبه فريق brainiac/studio. ننشر عملًا أصليًا من المهندسين والمصممين والمسوّقين الذين يقومون بالعمل نفسه، ولا نُسند الكتابة إلى جهة خارجية.