Multimodal Transformer
Định nghĩa
Multimodal Transformer là Transformer được dùng để xử lý hoặc kết hợp nhiều loại dữ liệu, ví dụ text với ảnh, bảng, speech hoặc modality khác.
Ý chính
- Transformer cung cấp một khung thống nhất để trộn thông tin từ nhiều nguồn.
- Khi các modality được biểu diễn thành embeddings phù hợp, attention có thể học quan hệ chéo giữa chúng.
- Đây là một hướng phát triển tự nhiên sau khi Transformer chứng minh hiệu quả trên text và vision.
Cách hiểu bằng lời của tôi
Multimodal Transformer giống như một bộ não attention chung cho nhiều loại tín hiệu. Thay vì chỉ hiểu câu chữ, nó còn học cách nối chữ với ảnh, âm thanh hoặc bảng để tạo ra biểu diễn phong phú hơn.