Masked Language Modeling
Định nghĩa
Masked language modeling là pretraining objective che một số token trong input và yêu cầu model dự đoán token bị che bằng cả ngữ cảnh trái và phải.
Cách hiểu bằng lời của tôi
MLM giống bài điền vào chỗ trống. Vì chỗ trống nằm giữa câu, model được học representation hai chiều thay vì chỉ nhìn prefix như causal LM.
Cơ chế
input sentence
-> mask một số token
-> bidirectional Transformer encoder
-> dự đoán token bị mask
-> dùng hidden states cho downstream tasks