Recall@k
Định nghĩa
Recall@k là metric đo tỷ lệ câu hỏi mà retriever đưa được document/passage liên quan vào top k kết quả.
Cách hiểu bằng lời của tôi
Trong QA, recall@k trả lời câu hỏi: “Trong k đoạn mà retriever lấy ra, có đoạn chứa đáp án không?”
question
-> retriever returns top-k passages
-> check whether answer appears in those passages
-> recall@kCông thức trực giác
recall@k = số câu hỏi có relevant passage trong top-k / tổng số câu hỏiTrong context QA của chương này, “relevant” thường nghĩa là passage có chứa answer.
Khi áp dụng
- Dùng để đánh giá Retriever trước khi đánh giá Reader.
- Dùng để chọn
top_k_retriever: k lớn tăng cơ hội chứa đáp án, nhưng làm pipeline chậm hơn. - Dùng để so sánh Sparse Retriever như BM25 với Dense Passage Retrieval.
Điểm cần cẩn thận
- Recall@k cao không đảm bảo answer cuối cùng đúng; reader vẫn phải trích đúng span.
- k càng lớn thường recall càng cao, nhưng latency tăng vì reader phải xử lý nhiều passage hơn.
- Nếu label/relevance không đúng, recall@k cũng gây hiểu nhầm.
Câu hỏi review
- Recall@k đo gì trong QA retrieval?
- Vì sao tăng k thường tăng recall nhưng làm pipeline chậm hơn?
- Vì sao recall@k cao chưa đủ để nói QA pipeline tốt?
Gợi ý trả lời câu hỏi review
- Nó đo khả năng retriever đưa passage chứa đáp án vào top-k.
- Vì lấy nhiều passage hơn thì dễ có passage đúng hơn, nhưng reader phải đọc nhiều input hơn.
- Vì reader có thể trích sai answer hoặc ranking answer cuối cùng có thể sai.