Continual Few-Shot Relation Extraction
Định nghĩa
Continual Few-Shot Relation Extraction (CFRE) kết hợp hai ràng buộc:
- Relation classes xuất hiện dần như Continual Relation Extraction.
- Mỗi relation mới chỉ có rất ít labeled examples như Few-shot Learning.
Model vì thế phải đồng thời tránh Catastrophic Forgetting trên relation cũ và tránh overfitting trên vài examples của relation mới.
Cách hiểu bằng lời của tôi
CRE thường đã khó vì model không được quên. CFRE còn khó hơn vì mỗi lần học cái mới, tín hiệu quá ít để xác định đúng “hình dạng” của class:
ít examples mới
-> prototype/decision boundary ước lượng nhiễu
-> dễ overfit
-> update nhiễu còn làm hỏng class cũNK-CRE là gì?
ConPL đề xuất N-way-K-shot CRE (NK-CRE): mỗi task có relation và mỗi relation ở mọi task, kể cả task đầu tiên, chỉ có training examples.
Đây là điểm khác quan trọng với một số protocol CFRE trước đó: task đầu có nhiều data, còn chỉ các task sau là few-shot. Nếu test set chứa nhiều relation từ task đầu, protocol đó có thể cho kết quả lạc quan hơn về “true continual few-shot”. ConPL PDF, tr. 1 ConPL PDF, tr. 2
Hai failure modes tương tác
Overfitting relation mới
- Model học surface patterns của vài câu thay vì semantics của relation.
- Prototype bị lệch vì sample mean có variance lớn.
- Hard negatives/relations gần nghĩa bị nhập nhằng.
Forgetting relation cũ
- Memory buffer nhỏ không phủ distribution cũ.
- Rehearsal trên vài memory samples làm model overfit chính buffer.
- Prototype cũ drift khi representation encoder đổi.
Vì hai failure modes gắn nhau, giải pháp thường kết hợp semantic anchors, contrastive loss, prototype/memory và augmentation.
Hai hướng trong paper
ConPL: giữ hình học prototype nhất quán
- Dự đoán bằng relation prototypes.
- Chọn vital samples và refined prototypes thành multi-information episodic memory.
- Dùng classification/distribution consistency để samples và prototypes cũ không lệch quá xa.
- Dùng focal loss để tập trung vào classes/samples khó.
CPL: khai thác PLM và làm giàu memory
- Thiết kế prompt representation để PLM sinh feature tổng quát hơn cho old/new relations.
- Margin-based contrastive loss tập trung vào hard samples/negatives.
- Dùng ChatGPT sinh biến thể cho memory examples nhằm giảm overfitting do buffer quá nhỏ.
Evaluation checklist
- Task đầu có thật sự -shot không?
- , , số task và số relation tổng là bao nhiêu?
- Buffer size tính trên relation hay toàn hệ thống?
- Synthetic examples có được tính vào memory/compute budget không?
- Datasets có cân bằng không; có
no_relationkhông? - Kết quả trung bình qua bao nhiêu task orders/seeds?
- Báo average accuracy, old/new accuracy và forgetting riêng không?
- Baselines có dùng cùng backbone/prompt/augmentation không?
Rủi ro khi dùng LLM augmentation
- Entity markers hoặc relation direction có thể bị đổi.
- Câu sinh trôi khỏi target label nhưng vẫn được gán nhãn cũ.
- LLM tạo lexical patterns lặp lại, cho diversity bề mặt chứ không phải semantic diversity.
- Chi phí và version của external LLM ảnh hưởng reproducibility.
- Synthetic examples không loại bỏ privacy concern nếu prompt chứa raw memory sample.
Xem Data Augmentation.
Tổng hợp của tôi
CFRE nên được coi như bài toán ước lượng class geometry dưới data scarcity và distribution shift. Prototype, prompt và augmentation là ba cách bù thông tin thiếu:
prototype -> nén class thành điểm neo
prompt -> kéo prior knowledge từ PLM
augmentation -> mở rộng support quan sát đượcNhưng cả ba đều có thể tạo bias. Vì vậy cần ablation và kiểm tra error slices, không chỉ nhìn average accuracy.
Câu hỏi review
- Vì sao CFRE không chỉ là CRE với dataset nhỏ hơn?
- NK-CRE sửa điểm chưa thực tế nào của protocol trước?
- Tại sao replay buffer nhỏ vừa giúp nhớ vừa gây overfit?
- Prototype distortion ảnh hưởng relation cũ thế nào?
- LLM augmentation cần kiểm tra những lỗi nhãn nào?
Gợi ý trả lời
- Few-shot làm cả ước lượng class mới và evaluation nhiễu hơn, đồng thời khuếch đại forgetting.
- Nó buộc task đầu cũng K-shot, tránh một base task lớn làm kết quả dễ hơn.
- Buffer nhắc model về class cũ nhưng coverage hẹp khiến model fit vào vài samples đại diện.
- Prototype không còn nằm gần distribution class cũ nên sample cũ bị hút sang relation khác.
- Relation direction, entity roles/types, label semantics, factual/plausibility và diversity thực.