Serial Contrastive Knowledge Distillation for Continual Few-shot Relation Extraction
Tóm tắt một câu
SCKD dùng serial knowledge distillation để giữ knowledge từ các model trước và contrastive learning với pseudo samples để tách representation giữa các relation.
Vì sao cần cho kế hoạch
Đây là baseline/đối chứng gần nhất cho phần KD trong đề tài. Nếu đề tài dùng Teacher-Student hoặc EMA Teacher, cần so với SCKD ở mức ý tưởng, và có thể reproduce nếu kịp.
Nguồn đã kiểm
- ACL Anthology: 2023.findings-acl.804
- arXiv: 2305.06616
- Code: nju-websoft/SCKD
Cần đọc tiếp
- Serial KD khác LwF ở đâu.
- Pseudo samples được tạo thế nào.
- Loss contrastive có thể reuse cho prototype router không.