Learning to Prompt for Continual Learning

Tóm tắt một câu

L2P đề xuất học một prompt pool nhỏ cho continual learning, dùng key-query retrieval để chọn prompt theo input mà không cần task identity tại test time.

Vì sao cần cho đề tài

Đây là paper nền trực tiếp cho ý tưởng task-agnostic prompt selection. Đề tài Continual Relation Extraction with Task-Aware Prompt Adaptation nên đọc L2P để xác định:

• prompt memory khác replay memory ở đâu;
• query-key prompt selection được train thế nào;
• claim không cần task identity tại inference được operationalize ra sao;
• hạn chế của flat prompt pool trước khi chuyển sang Prompt Tree.

Nguồn đã kiểm

• arXiv: 2112.08654
• Code: google-research/l2p

Ghi chú evidence

Metadata và mô tả hiện ở mức source-checked từ arXiv abstract; chưa đọc PDF sâu.

Cần đọc tiếp

• Cơ chế key-query selection.
• Loss cho prompt keys.
• Task-agnostic inference protocol.
• Cách tính memory/parameter budget.