P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks

Tóm tắt một câu

P-Tuning v2 tối ưu deep prompt tuning cho NLU, cho thấy prompt tuning có thể cạnh tranh với fine-tuning trên nhiều model scale và task hơn các soft prompt đời đầu.

Vì sao cần cho đề tài

Relation Extraction là NLU task, không phải generation task. Paper này giúp kiểm tra thiết kế prompt/prefix nào phù hợp hơn cho classification/sequence understanding.

Nguồn đã kiểm

• arXiv: 2110.07602
• Code: THUDM/P-tuning-v2

Cần đọc tiếp

• Deep prompt tuning khác input soft prompt ở đâu.
• Thiết lập cho NLU/classification.
• Prompt tuning khi model cỡ BERT/RoBERTa có đủ mạnh không.