2019 - The Lottery Ticket Hypothesis - Finding Sparse Trainable Neural Networks - arXiv 1803.03635v5
Nguồn
- PDF gốc: 2019 - The Lottery Ticket Hypothesis - Finding Sparse Trainable Neural Networks - arXiv 1803.03635v5.pdf
- Vai trò trong CS224N: paper nền cho pruning/subnetwork trong efficient adaptation.
Câu hỏi trung tâm
Trong một mạng dense ngẫu nhiên có tồn tại subnetworks nhỏ có thể train tốt như mạng lớn không?
Kiến thức cốt lõi
- Lottery Ticket Hypothesis cho rằng dense network chứa winning tickets: subnetworks sparse train được hiệu quả khi khởi tạo đúng.
- Pruning không chỉ là nén model sau train; nó đặt câu hỏi về phần tham số thật sự cần thiết.
- Khởi tạo ban đầu của subnetwork có vai trò quan trọng.
- Paper ảnh hưởng tới nghiên cứu sparsity, pruning và efficient training.
- Trong CS224N, nó liên hệ với lecture efficient adaptation và subnetwork methods.
Cơ chế / công thức / kiến trúc
train dense network
-> prune weights ít quan trọng
-> reset surviving weights về initialization ban đầu
-> train subnetwork
-> nếu đạt performance tốt: winning ticketKhi áp dụng
- Dùng khi nghiên cứu model compression hoặc sparse adaptation.
- Không đồng nhất pruning inference với tìm winning tickets trong training.
- Cần chú ý chi phí tìm ticket có thể lớn.
Kết quả / bằng chứng đáng giữ
- Title nêu finding sparse trainable neural networks.
- Lecture 09 đặt pruning/subnetwork cạnh PEFT methods.
- Paper là nguồn lịch sử quan trọng cho suy nghĩ về redundancy trong neural networks.
Cách hiểu bằng lời của tôi
Lottery ticket nói rằng trong mạng lớn có thể có mạng nhỏ “đúng chỗ” đã nằm sẵn. Vấn đề là tìm nó và giữ initialization phù hợp.
Câu hỏi review
- Winning ticket là gì?
- Reset initialization có ý nghĩa gì?
- Pruning liên hệ gì với efficient adaptation?