Dark Experience for General Continual Learning
Tóm tắt một câu
DER lưu lại logits trong quá trình học và dùng chúng như dark knowledge để regularize model khi học liên tục.
Vì sao cần cho đề tài
Nếu muốn hiểu Teacher-Student/KD trong continual learning, DER là cầu nối tốt giữa distillation cổ điển và chống quên. Nó cũng giúp phân biệt:
- distill từ Teacher hiện tại;
- distill từ logits/history lưu trong memory;
- replay dữ liệu thô so với replay hành vi dự đoán.
Nguồn đã kiểm
- arXiv: 2004.07211
- Code framework thường dùng: aimagelab/mammoth
Cần đọc tiếp
- Dark Experience Replay và DER++ khác nhau ở đâu.
- Vì sao paper nhấn vào General Continual Learning.
- Cách logit matching liên quan tới Knowledge Distillation.