Adapter

Định nghĩa

Adapter là module nhỏ được chèn vào model pretrained để học task/domain mới mà không cần cập nhật toàn bộ tham số gốc.

Cách hiểu bằng lời của tôi

Adapter giống một lớp biến đổi phụ đặt giữa các layer. Model gốc giữ nguyên, còn adapter học cách uốn representation cho task cụ thể.

Công thức trực giác

Adapter bottleneck thường có dạng:

$$f_{\varphi }(x)=W_U\sigma (W_{D}x)$$

• $W_D$: down-projection từ chiều lớn $d$ xuống bottleneck nhỏ $k$.
• $W_U$: up-projection từ $k$ về lại $d$.
• $k\ll d$, nên số tham số train thêm nhỏ hơn full fine-tuning nhiều.

Trade-off

• Tiết kiệm tham số và memory optimizer.
• Dễ lưu nhiều adapter cho nhiều task/language.
• Thêm latency/parameters khi inference nếu giữ module riêng.
• Capacity phụ thuộc kích thước bottleneck và vị trí chèn adapter.

Liên kết

• Parameter-Efficient Fine-Tuning
• Fine-tuning
• Transformer
• CS224N