Progressive Prompts: Continual Learning for Language Models

Tóm tắt một câu

Progressive Prompts học prompt mới cho từng task và nối với prompt cũ để hỗ trợ forward transfer mà không replay dữ liệu cũ.

Vì sao cần cho kế hoạch

Đây là paper nền cho câu hỏi: prompt cũ nên freeze, reuse, concatenate hay compose? Nó hỗ trợ thiết kế Prompt Tree nhưng không phải baseline CRE trực tiếp.

Nguồn đã kiểm

• arXiv: 2301.12314

Cần đọc tiếp

• Prompt concatenation qua task.
• Forgetting khi prompt list dài dần.
• Khả năng forward transfer.