CODA-Prompt: COntinual Decomposed Attention-based Prompting for Rehearsal-Free Continual Learning
Tóm tắt một câu
CODA-Prompt học các prompt components và lắp ghép chúng bằng trọng số phụ thuộc input, thay vì chỉ chọn prompt bằng key-query cố định.
Vì sao cần cho đề tài
Đề tài đang có bước Compositional Prompt Generation:
CODA-Prompt là paper gần nhất để biện minh cho prompt composition theo input-conditioned weights. Điểm khác biệt tiềm năng của đề tài là chuyển composition này sang cây relation/task trong Continual Relation Extraction.
Nguồn đã kiểm
- arXiv: 2211.13218
- Code: GT-RIPL/CODA-Prompt
Ghi chú evidence
Metadata và vai trò paper hiện ở mức source-checked từ arXiv abstract; chưa đọc PDF sâu.
Cần đọc tiếp
- Cách decomposed prompts được tham số hóa.
- Attention/query-key có được train end-to-end không.
- Metric về plasticity-stability.