CS224N 2026 - Lecture 19 - The Art of Artificial Reasoning for Small Language Models
Nguồn
- PDF gốc: CS224N 2026 - Lecture 19 - The Art of Artificial Reasoning for Small Language Models.pdf
- Vai trò trong khoá: reasoning cho small language models, smart scaling, unconventional data/algorithms/collaboration.
- Paper đọc kèm: 2025 - DeepSeek-R1 - Incentivizing Reasoning Capability in LLMs via Reinforcement Learning - arXiv 2501.12948v2, 2025 - DAPO - An Open-Source LLM Reinforcement Learning System at Scale - arXiv 2503.14476v2.
Mục tiêu cần hiểu
- Vì sao brute-force scaling không phải con đường duy nhất.
- Small models quan trọng vì chi phí, quyền truy cập, deployment và open-source ecosystem.
- Reasoning có thể được cải thiện bằng data, algorithm và collaboration thay vì chỉ tăng parameter count.
- Test-time compute và distillation có thể chuyển năng lực từ model lớn sang model nhỏ.
Ý chính
- Extreme-scale compute tạo rào cản: chỉ vài tổ chức có thể train frontier foundation models.
- Nhu cầu small models rất cao vì chúng dễ deploy, rẻ hơn, kiểm soát tốt hơn và phù hợp edge/private settings.
- “Smart scaling” nhấn vào dữ liệu khác thường, thuật toán khác thường và cộng tác mở.
- Reasoning của small LM không chỉ phụ thuộc kích thước; nó phụ thuộc cách tạo data reasoning, cách tối ưu, cách distill và cách dùng compute lúc inference.
- Open-source ecosystem làm democratization thực tế hơn nếu có recipe tái lập và benchmark nghiêm túc.
Mental model
large / expensive reasoning system
-> tạo hoặc lọc reasoning traces
-> distill / train smaller model
-> dùng inference-time strategy phù hợp
-> small model có năng lực reasoning tốt hơn chi phí thấp hơnTrade-off
- Small model rẻ và dễ triển khai nhưng capacity thấp hơn.
- Distillation có thể truyền hành vi nhưng cũng truyền lỗi/bias từ teacher.
- Test-time compute cải thiện chất lượng nhưng tăng latency/cost lúc suy luận.
- Open collaboration tăng tốc phát triển nhưng cần evaluation và reproducibility mạnh.
Cách hiểu bằng lời của tôi
Thông điệp chính không phải “small model sẽ thắng large model”, mà là “không nên đồng nhất intelligence với parameter count”. Nếu data, reward, distillation và inference algorithm đủ tốt, small model có thể đạt hiệu quả rất cao trong miền mục tiêu.
Câu hỏi review
- Vì sao scaling law tạo vấn đề dân chủ hoá AI?
- Small models có lợi thế thực tế nào?
- Smart scaling gồm những hướng đổi mới nào?
- Distillation giúp reasoning model nhỏ bằng cách nào?
- Test-time compute tạo trade-off gì?