Practical NLP - Chapter 03 - Text Representation

Mục tiêu cần hiểu

Text Representation là bước biến text thành dạng toán học để model có thể so sánh, phân loại, truy hồi hoặc gom cụm.
Vector space model biểu diễn từ/câu/tài liệu bằng vector. Similarity thường được hiểu qua khoảng cách hoặc cosine similarity trong không gian vector.
One-hot, Bag of Words, Bag of N-Grams và TF-IDF là các biểu diễn sparse. Chúng đơn giản, dễ debug, mạnh cho baseline, nhưng làm mất nhiều thông tin ngữ cảnh và thứ tự.
Distributed representation như Embedding tạo vector dense, chiều thấp hơn, học từ context và có khả năng nắm semantic similarity tốt hơn.
Representation có thể ở nhiều mức: character, subword, word, sentence, paragraph hoặc document. Mức biểu diễn phải khớp task.
Visualization giúp nhìn trực giác embedding space nhưng dễ gây hiểu nhầm vì phép chiếu 2D/3D có thể bóp méo quan hệ trong không gian cao chiều.
Handcrafted features vẫn hữu ích khi có domain signal rõ, dữ liệu ít, hoặc cần giải thích dễ hơn.

Text
-> token/unit
-> vector representation
-> similarity / classifier / retriever / clustering
-> evaluation theo task

Representation là lớp quyết định model nhìn thấy gì từ text.
Mỗi representation đánh đổi giữa độ đơn giản, khả năng tổng quát, chi phí tính toán và khả năng giải thích.

BoW giữ tần suất từ nhưng mất thứ tự và nhiều ngữ cảnh.
TF-IDF giảm trọng số từ xuất hiện quá phổ biến và tăng tín hiệu của từ phân biệt tài liệu tốt hơn.
Embedding đặt text vào không gian dense nơi các item gần nhau có xu hướng gần về nghĩa hoặc chức năng theo dữ liệu học được.