بُنيت معظم لوحات مراقبة الإنتاج لعالم يعني فيه “يعمل” أن “يستجيب”. لكن النظام الحواري المبني على نموذج لغة كبير يكسر هذا الافتراض: يمكنه أن يستجيب فورًا وبوقت تشغيل كامل، ومع ذلك يكون مخطئًا.
أنماط الفشل المهمة — معلومة ملفّقة، نبرة غير مناسبة، إجابة تتجاهل ما سأله المستخدم فعلاً — لا تظهر كأخطاء. تظهر كتآكل بطيء للثقة، يلاحظه المستخدم عادةً قبل أن تلاحظه أي لوحة مراقبة.
إشارة الجودة المفيدة لها ثلاث خصائص. إنها متعددة الأبعاد: فالنتيجة الواحدة من نوع نجاح/فشل تختزل الكثير من المعلومات، لذا يجب تتبع الدقة والارتكاز على المصدر وإتمام المهمة كلٌ على حدة. وهي مستمرة: يجب أخذ عينات الجودة من حركة الاستخدام الفعلية، لا من مجموعة اختبار ثابتة تصبح قديمة بمجرد تغيّر النموذج أو المنتج. وهي قابلة للتنفيذ: فالنتيجة بلا مثال مرفق هي رقم لا يثق به أحد — يجب أن يعود كل مقياس إلى المحادثة التي أنتجته.
لا يتطلب أي من هذا أدوات معقدة. يتطلب فقط التعامل مع التقييم كجزء أساسي من النظام، يُبنى جنبًا إلى جنب مع الميزة، لا يُضاف لاحقًا بعد شكوى مستخدم.