CS224N 2026 - Lecture 06 - Final Projects and Practical Tips
Nguồn
- PDF gốc: CS224N 2026 - Lecture 06 - Final Projects and Practical Tips.pdf
- Vai trò trong khoá: recap Transformer và hướng dẫn chuyển kiến thức NLP thành project nghiên cứu/ứng dụng.
Mục tiêu cần hiểu
- Phân biệt decoder, encoder và encoder-decoder Transformer.
- Hiểu cross-attention như cơ chế nối source representation với target generation.
- Biết cách chọn topic/data/baseline cho final project.
Ý chính
- Transformer decoder dùng causal/unidirectional context, phù hợp với Autoregressive Language Model.
- Transformer encoder bỏ masking trong self-attention, cho phép bidirectional context, phù hợp với understanding tasks.
- Encoder-decoder dùng encoder đọc source và decoder sinh target; decoder có thêm cross-attention vào output encoder.
- Cross-attention lấy keys/values từ encoder và queries từ decoder, nên decoder có thể “hỏi” source sentence khi sinh target token.
- Một project tốt cần câu hỏi rõ, dữ liệu có thể dùng, baseline đủ đơn giản và metric phù hợp.
Cross-attention
Nếu encoder tạo các vector và decoder có state :
keys, values: từ encoder outputs h
queries: từ decoder states zTrực giác: decoder đang viết câu đích; ở mỗi bước nó query lại memory của câu nguồn để lấy thông tin cần thiết.
Cách hiểu bằng lời của tôi
Encoder là phần đọc hiểu, decoder là phần viết tiếp, encoder-decoder là “đọc rồi viết”. Cross-attention là cầu nối: output encoder trở thành bộ nhớ để decoder truy cập khi sinh từng token.
Câu hỏi review
- Encoder khác decoder ở masking như thế nào?
- Cross-attention lấy Q/K/V từ đâu?
- Vì sao encoder-decoder hợp với translation/summarization?
- Một final project NLP cần baseline để làm gì?