Natural Language Processing with Transformers

Thông tin

• Tác giả: Lewis Tunstall, Leandro von Werra, Thomas Wolf
• Trạng thái: Đang đọc
• Tổng số trang PDF: 479
• Chủ đề chính: NLP hiện đại, Transformer, Hugging Face, fine-tuning, production, few-shot learning.

Nguồn

• PDF gốc: Natural Language Processing with Transformers.pdf
• Vị trí: 00 - Sources/PDFs/Books

Tiến độ tự động

TABLE WITHOUT ID
  max(rows.current_page_after) AS "Trang hiện tại",
  this.total_pages AS "Tổng trang",
  round((max(rows.current_page_after) / this.total_pages) * 100) + "%" AS "Tiến độ"
FROM "03 - Daily Reading"
WHERE type = "daily-reading"
  AND status = "completed"
  AND book = this.file.link
  AND current_page_after
GROUP BY book

Lý do đọc

• Hiểu cách xây dựng ứng dụng NLP thực tế bằng Transformer.
• Nắm workflow Hugging Face từ dataset, tokenizer, model, trainer đến deployment.
• Tạo được demo nhỏ theo từng chapter để biến kiến thức thành kỹ năng.

Mục tiêu đọc

• Hoàn thành 1 chapter mỗi session hoặc chia nhỏ nếu chapter dài.
• Sau mỗi chapter, viết lại ý chính bằng tiếng Việt.
• Chạy hoặc phác thảo ít nhất 1 demo thực hành.
• Tách các khái niệm quan trọng sang 04 - Concepts khi cần dùng lại.

Sections

• NLP Transformers - Chapter 01 - Hello Transformers
• NLP Transformers - Chapter 02 - Text Classification
• NLP Transformers - Chapter 03 - Transformer Anatomy
• NLP Transformers - Chapter 04 - Multilingual Named Entity Recognition
• NLP Transformers - Chapter 05 - Text Generation
• NLP Transformers - Chapter 06 - Summarization
• NLP Transformers - Chapter 07 - Question Answering
• NLP Transformers - Chapter 08 - Making Transformers Efficient in Production
• NLP Transformers - Chapter 09 - Dealing with Few to No Labels
• NLP Transformers - Chapter 10 - Training Transformers from Scratch
• NLP Transformers - Chapter 11 - Future Directions

Lịch đọc đề xuất

Ngày	Nội dung	Trang	Mục tiêu
2026-07-23	NLP Transformers - Chapter 01 - Hello Transformers	21-38	Tổng quan Transformer, Hugging Face và pipeline
2026-07-24	NLP Transformers - Chapter 02 - Text Classification	39-57	Dataset, nhãn, độ dài văn bản và tokenization
2026-07-25	NLP Transformers - Chapter 02 - Text Classification	58-77	Feature extraction, fine-tuning và workflow
2026-07-26	NLP Transformers - Chapter 03 - Transformer Anatomy	78-98	Self-attention và positional embeddings
2026-07-27	NLP Transformers - Chapter 03 - Transformer Anatomy	99-118	Encoder, decoder và encoder-decoder
2026-07-28	NLP Transformers - Chapter 04 - Multilingual Named Entity Recognition	119-149	NER và cross-lingual transfer
2026-07-29	NLP Transformers - Chapter 05 - Text Generation	150-163	Decoding strategies
2026-07-30	NLP Transformers - Chapter 06 - Summarization	164-179	Summarization và metrics
2026-07-31	NLP Transformers - Chapter 06 - Summarization	180-194	Fine-tuning summarization
2026-08-01	NLP Transformers - Chapter 07 - Question Answering	195-214	Extractive QA
2026-08-02	NLP Transformers - Chapter 07 - Question Answering	215-233	Retriever-reader pipeline
2026-08-03	NLP Transformers - Chapter 08 - Making Transformers Efficient in Production	234-259	Benchmark production
2026-08-04	NLP Transformers - Chapter 08 - Making Transformers Efficient in Production	260-285	Distillation, quantization, ONNX, pruning
2026-08-05	NLP Transformers - Chapter 09 - Dealing with Few to No Labels	286-305	Baseline và ít nhãn
2026-08-06	NLP Transformers - Chapter 09 - Dealing with Few to No Labels	306-325	Prompting, augmentation và unlabeled data
2026-08-07	NLP Transformers - Chapter 10 - Training Transformers from Scratch	326-358	Corpus và tokenizer
2026-08-08	NLP Transformers - Chapter 10 - Training Transformers from Scratch	359-392	Pretraining loop và chi phí
2026-08-09	NLP Transformers - Chapter 11 - Future Directions	393-416	Future directions và tổng kết sách

Ý tưởng quan trọng

• Transformer là nền tảng kiến trúc cho nhiều bài toán NLP hiện đại.
• Hugging Face giúp chuẩn hóa vòng đời NLP: dữ liệu, tokenization, model, training, evaluation, deployment.
• Fine-tuning, evaluation và tối ưu production quan trọng không kém việc chọn model.

Concepts nên tách

• Transformer
• Self-Attention
• Transfer Learning
• Hugging Face
• Tokenization
• Fine-tuning
• Named Entity Recognition
• Text Generation
• Summarization
• Question Answering
• Knowledge Distillation
• Quantization
• Few-shot Learning

Demo tổng thể

• Tạo một notebook hoặc script nhỏ chạy các pipeline cơ bản của Hugging Face.
• Sau mỗi chapter, thêm một demo riêng để kiểm chứng ý tưởng chính.

Ghi chú sau khi hoàn thành