Quartz 4

Seq2Seq Model

3 min read

Seq2Seq Model

Định nghĩa

Seq2Seq model là mô hình nhận một chuỗi làm input và sinh một chuỗi khác làm output.

Trong Chapter 6 của Practical NLP, seq2seq được dùng như một hướng end-to-end để xây chatbot: input là utterance hoặc lịch sử hội thoại của người dùng, output là response do bot sinh ra.

Mental model

input sequence
-> model đọc thứ tự token
-> representation / hidden state
-> sinh output sequence

Ví dụ trong chatbot:

"Can you suggest a dinner recipe?"
-> Seq2Seq model
-> "Sure, what ingredients do you have?"

Vì sao dùng cho chatbot

Seq2Seq cho phép train hệ thống end-to-end, thay vì phải duy trì nhiều module riêng như NLU, dialog manager và NLG. Model học trực tiếp từ dữ liệu hội thoại để ánh xạ câu vào sang câu phản hồi.

Điểm quan trọng là thứ tự token được giữ lại. Với câu hỏi tự nhiên, đổi thứ tự từ có thể đổi meaning; vì vậy mô hình sinh response cần nhìn chuỗi như một sequence, không chỉ như một túi từ.

Kiến trúc thường gặp

  • LSTM-based seq2seq là nền thường gặp trong phần sách này.
  • Transformer cũng có thể dùng cho seq2seq tasks và dialog generation.
  • Encoder-Decoder Architecture là một dạng seq2seq rõ ràng: encoder đọc input sequence, decoder sinh output sequence.

Trade-off trong dialog

  • Ưu điểm: train end-to-end, giảm số module thủ công, có thể sinh response linh hoạt hơn.
  • Nhược điểm: khó debug, khó kiểm soát factual correctness, cần dữ liệu hội thoại tốt.
  • Failure mode đáng nhớ: model có thể sinh câu an toàn quá mức như “I don’t know” vì câu đó thường hợp lý cục bộ nhưng không giúp cuộc hội thoại đạt mục tiêu.

Quan hệ với reinforcement learning

Seq2Seq trả lời câu hỏi: “response tiếp theo nên là chuỗi token nào?”

Reinforcement Learning for Dialogue Generation thêm câu hỏi dài hạn hơn: “response này có giúp cả cuộc hội thoại đi tới mục tiêu không?”

Cách hiểu bằng lời của tôi

Seq2Seq biến bài toán hội thoại thành bài toán chuyển đổi chuỗi: đọc câu hoặc context của người dùng, rồi sinh câu trả lời. Nó mạnh vì đơn giản hóa pipeline, nhưng cũng nguy hiểm vì mọi lỗi hiểu, chọn hành động và sinh câu bị trộn vào một model khó soi.

Liên kết

Graph View

Backlinks