F1 Score
Định nghĩa
F1 score là harmonic mean của precision và recall. Trong extractive QA, F1 thường đo overlap token giữa predicted answer và ground truth answer.
Cách hiểu bằng lời của tôi
F1 mềm hơn Exact Match. Nếu model trả lời gần đúng nhưng thêm/thiếu vài token, F1 vẫn cho điểm một phần.
prediction: "about 6000 hours"
label: "6000 hours"
F1: cao hơn 0 vì có overlap "6000 hours"Công thức
F1 = 2 * precision * recall / (precision + recall)Trong QA:
precision: bao nhiêu token trong prediction cũng có trong label.recall: bao nhiêu token trong label được prediction bắt được.
Điểm cần cẩn thận
- F1 có thể cho điểm khá tốt cho câu trả lời vẫn sai về nghĩa.
- Ví dụ prediction overlap số nhưng sai đơn vị vẫn có thể nhận điểm khác 0.
- Vì vậy nên theo dõi F1 cùng Exact Match.
Khi áp dụng
- Dùng để đánh giá Reader trong Extractive QA.
- Hữu ích khi có nhiều cách chọn span gần đúng.
- Dùng cùng EM để cân bằng giữa metric strict và metric mềm.
Câu hỏi review
- F1 trong extractive QA đo gì?
- Vì sao F1 mềm hơn Exact Match?
- Vì sao không nên chỉ nhìn F1?
Gợi ý trả lời câu hỏi review
- Nó đo overlap token giữa prediction và label.
- Vì prediction không cần khớp tuyệt đối vẫn được điểm nếu có token đúng.
- Vì overlap token không luôn đồng nghĩa với câu trả lời đúng về nghĩa.