ارزیابی · ۹ دقیقه مطالعه
راهنمای عملی ارزیابی دستیار پشتیبانی
یک چارچوب بدون آمار نمایشی برای سنجش دقت، امنیت و تجربه کاربر.
سه معیار را جدا کنید
کیفیت زبانی، صحت factual و صحت عملیات یک چیز نیستند. یک پاسخ خوشلحن میتواند اشتباه باشد و یک پیشنهاد درست نباید بهعنوان عملیات انجامشده گزارش شود.
مجموعه آزمون نسخهدار
سناریوها را بر اساس intent، منبع مورد انتظار، سطح ریسک و نتیجه مجاز ثبت کنید.
- سؤالهای مثبت با منبع مشخص
- سؤالهای خارج از دامنه
- ابهام و ارجاع ضمیر
- prompt injection و تلاش استخراج secret
- عملیات نیازمند تأیید
بازبینی انسانی هدفمند
امتیاز کلی به تنهایی علت شکست را نشان نمیدهد. خطا را به retrieval، prompt، داده، policy یا ابزار نسبت دهید و تغییر را با regression همان دسته بسنجید.