Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality

Tóm tắt một câu

HiDe-Prompt phân rã prompt-based continual learning thành within-task prediction, task-identity inference và task-adaptive prediction, rồi tối ưu các thành phần này rõ ràng hơn.

Vì sao cần cho đề tài

Đây là paper rất quan trọng để bảo vệ chữ Task-Aware trong tên đề tài. Nó cung cấp ngôn ngữ lý thuyết để tách:

• lỗi phân biệt relation trong cùng task;
• lỗi suy luận task;
• lỗi dự đoán sau khi đã chọn prompt/task.

Đề tài nên dùng decomposition này làm khung đánh giá thay vì chỉ báo final accuracy.

Nguồn đã kiểm

• arXiv: 2310.07234
• Code: thu-ml/HiDe-Prompt

Ghi chú evidence

Metadata và vai trò paper hiện ở mức source-checked từ arXiv abstract; chưa đọc PDF sâu.

Cần đọc tiếp

• Định nghĩa WTP, TII, TAP trong paper.
• Cách dùng statistics của uninstructed/instructed representations.
• Các metric tách riêng task routing và prediction.