Annotation Quality Metrics
Định nghĩa
Annotation Quality Metrics là các chỉ số đo chất lượng và vận hành của annotation workflow, như reviewer agreement, escalation volume, time to resolution, confidence và downstream model impact.
Cách hiểu bằng lời của tôi
Bad label không tạo outage rõ ràng, nó làm model quyết định sai âm thầm. Vì vậy annotation platform cần đo cả throughput lẫn chất lượng. Agreement thấp hoặc escalation tăng là tín hiệu guideline/task/model đang có vấn đề.