Mean teachers are better role models
Tóm tắt một câu
Mean Teacher dùng exponential moving average của trọng số Student để tạo Teacher ổn định hơn cho consistency targets.
Vì sao cần cho đề tài
Phần EMA trong đề tài cần paper này để tránh trình bày EMA như một mẹo tùy tiện. Tuy nhiên, cần viết rõ rằng Mean Teacher gốc thuộc semi-supervised learning, còn đề tài dùng ý tưởng weight averaging cho continual distillation.
Nguồn đã kiểm
- arXiv: 1703.01780
Ghi chú evidence
Metadata và vai trò paper hiện ở mức source-checked từ arXiv abstract; chưa đọc PDF sâu.
Cần đọc tiếp
- Công thức EMA.
- Consistency target.
- Khác biệt giữa semi-supervised consistency và continual KD.