CS224N - Notes - Backpropagation Old
Nguồn
- PDF gốc: CS224N - Notes - Backpropagation Old.pdf
- Vai trò trong CS224N: note phụ trợ về backpropagation bản cũ, hữu ích cho assignment và hiểu chain rule trong neural networks.
Câu hỏi trung tâm
Backprop tính gradient trong mạng nhiều tầng bằng cách nào và vì sao hiệu quả hơn tính đạo hàm từng tham số thủ công?
Kiến thức cốt lõi
- Backprop là chain rule trên computation graph.
- Forward pass lưu intermediate activations.
- Backward pass truyền error signal từ loss về từng layer.
- Gradient của tham số được tính từ local derivative và upstream gradient.
- Hiểu backprop giúp debug assignment trước khi phó mặc cho autodiff.
Cơ chế / công thức / kiến trúc
x -> layer1 -> layer2 -> loss
forward: lưu activation
backward: dL/dlayer2 -> dL/dlayer1 -> dL/dW
update: W = W - lr * gradientKhi áp dụng
- Dùng khi derive gradient cho neural net assignment.
- Luôn kiểm tra dimensions của gradient.
- So sánh analytic gradient với numerical gradient để debug.
Kết quả / bằng chứng đáng giữ
- Tên note và cụm CS224N backprop chỉ ra vai trò phụ trợ toán/training.
- Nó được đọc cùng Lecture 03 Neural Network Foundations.
- Backprop là nền cho mọi kiến trúc sau này trong khoá.
Cách hiểu bằng lời của tôi
Backprop là kế toán lỗi: mỗi node trong graph nhận phần lỗi downstream, nhân với đạo hàm local, rồi chuyển phần trách nhiệm về input/tham số của mình.
Câu hỏi review
- Forward pass cần lưu gì cho backward?
- Upstream gradient là gì?
- Vì sao numerical gradient check hữu ích?