Đọc ngày 2026-08-09
Kế hoạch hôm nay
Mục tiêu cần hiểu
- Hiểu scaling laws nói gì về quan hệ giữa model size, data, compute và performance.
- Nhận ra các ràng buộc thực tế của scaling: hạ tầng, chi phí, dataset curation, evaluation và deployment.
- Phân biệt sparse attention và linearized attention như các hướng giảm chi phí attention.
- Nắm cách Transformer mở rộng ra ngoài text: vision, tables, speech và multimodal.
Câu hỏi dẫn đường
- Những hướng phát triển nào quan trọng nhất sau Transformer text?
- Scaling đem lại lợi ích và rủi ro gì?
- Tôi muốn đào sâu nhánh nào sau khi đọc xong sách?
Ghi chú trong khi đọc
Viết lại bằng lời của tôi
Tổng kết sách
Việc cần làm