Masked Language Modeling

Định nghĩa

Masked language modeling là pretraining objective che một số token trong input và yêu cầu model dự đoán token bị che bằng cả ngữ cảnh trái và phải.

Cách hiểu bằng lời của tôi

MLM giống bài điền vào chỗ trống. Vì chỗ trống nằm giữa câu, model được học representation hai chiều thay vì chỉ nhìn prefix như causal LM.

Cơ chế

input sentence
-> mask một số token
-> bidirectional Transformer encoder
-> dự đoán token bị mask
-> dùng hidden states cho downstream tasks

Liên kết