CS224N 2019 - Notes 03 - Neural Networks and Backpropagation
Nguồn
- PDF gốc: CS224N 2019 - Notes 03 - Neural Networks and Backpropagation.pdf
- Vai trò trong CS224N: lecture note chi tiết về neural network, loss, optimization và practical training tips.
Câu hỏi trung tâm
Một neural network classifier được xây và train bằng backprop như thế nào?
Kiến thức cốt lõi
- Single neuron thực hiện affine transform rồi qua activation.
- Nhiều neurons/layers tạo multilayer network cho classification.
- Loss như max-margin hoặc cross-entropy biến prediction thành objective.
- Backprop dùng chain rule để tính gradients tuần tự qua layers.
- Training thực tế cần initialization, learning rate, gradient check và optimizer như AdaGrad/RMSProp/Adam.
Cơ chế / công thức / kiến trúc
x
-> affine transform Wx+b
-> nonlinearity
-> hidden layer(s)
-> scores
-> loss
-> backprop gradients
-> optimizer updateKhi áp dụng
- Dùng cho assignment neural network/dependency parsing.
- Luôn chạy gradient check khi tự viết backward.
- Initialization và learning rate có thể quyết định train thành công hay không.
Kết quả / bằng chứng đáng giữ
- Source first page liệt kê keyphrases: neural networks, forward computation, backward propagation, max-margin loss, gradient checks, Xavier initialization, learning rates, Adagrad.
- Trang 2 giải thích sigmoid neuron và layer of neurons.
- Cuối note nhắc optimizer variants như RMSProp/Adam.
Cách hiểu bằng lời của tôi
Lecture note này là cầu từ toán sang code: không chỉ biết đạo hàm, mà còn phải làm cho training chạy ổn định.
Câu hỏi review
- Một neuron tính gì?
- Backprop dùng chain rule ra sao?
- Gradient check phát hiện lỗi gì?
- Vì sao optimizer khác SGD thuần hữu ích?