The Power of Scale for Parameter-Efficient Prompt Tuning

Tóm tắt một câu

Paper khảo sát soft prompt tuning, trong đó chỉ các prompt embeddings được học bằng backpropagation còn language model giữ frozen.

Vì sao cần cho đề tài

Đề tài dùng “tinh chỉnh prompt” nhưng người đọc có thể nhầm với prompt engineering thủ công. Paper này giúp tách:

• discrete prompt viết bằng chữ;
• soft prompt/prefix là tham số học được;
• frozen backbone và trainable prompt parameters.

Nguồn đã kiểm

• arXiv: 2104.08691

Cần đọc tiếp

• Prompt length và initialization.
• Vì sao prompt tuning mạnh hơn khi model lớn.
• Robustness/domain transfer khi dùng frozen model.