Test-Time Compute
Định nghĩa
Test-time compute là lượng compute dùng trong lúc inference để cải thiện output mà không cập nhật trọng số model.
Cách hiểu bằng lời của tôi
Thay vì làm model lớn hơn, ta cho model thêm thời gian và quy trình suy nghĩ: lấy nhiều mẫu, kiểm chứng, tìm kiếm, dùng verifier hoặc gọi tool.
Ví dụ
- Self-Consistency Decoding.
- Sinh nhiều candidates rồi rerank.
- Verifier chấm từng bước.
- Search/planning trong agent.
Trade-off
- Tăng chất lượng trên bài khó.
- Tăng latency và cost.
- Cần chính sách phân bổ compute theo độ khó, nếu không sẽ lãng phí.