Reinforcement Learning for Dialogue Generation
Định nghĩa
Reinforcement learning for dialogue generation là cách huấn luyện chatbot xem mỗi response như một action, rồi học chọn chuỗi action giúp cuộc hội thoại đạt mục tiêu dài hạn.
Vì sao cần
Seq2seq dialog model có thể sinh câu trả lời hợp ngữ pháp nhưng quá chung chung, ví dụ luôn chọn câu an toàn khi không chắc. Vấn đề là model tối ưu response cục bộ, trong khi một cuộc hội thoại tốt cần nhiều turn cùng đưa user tới mục tiêu.
RL thêm khái niệm reward dài hạn. Response hiện tại được đánh giá theo việc nó có giúp cuộc hội thoại tiến tới kết quả mong muốn hay không.
Mental model
Dialog state
-> bot response as action
-> user reaction / next state
-> reward
-> policy updateGoodness phụ thuộc vào task
- Với goal-oriented dialog, goodness thường gắn với task completion: user đặt được món, tìm được công thức, hoàn tất booking, hoặc nhận được câu trả lời đúng.
- Với chitchat, goodness khó định nghĩa hơn vì mục tiêu là độ thú vị, tự nhiên hoặc duy trì cuộc trò chuyện.
Quan hệ với seq2seq
Seq2seq học cách sinh response từ input sequence. RL không thay thế hoàn toàn seq2seq trong phần này; nó bổ sung objective dài hạn để model tránh chỉ sinh response an toàn ở từng turn.
Seq2seq: câu tiếp theo nghe hợp lý không?
RL dialog: câu tiếp theo có giúp cả cuộc hội thoại đi đúng hướng không?Vai trò của human-in-the-loop
Con người có thể đưa partial reward hoặc feedback khi bot đang thử nhiều action. Điều này hữu ích khi reward tự động khó định nghĩa hoặc khi bot sinh response nghe ổn nhưng sai mục tiêu.
Cách hiểu bằng lời của tôi
RL cho dialog generation là đổi câu hỏi từ “bot nên nói gì tiếp theo?” thành “bot nên làm hành động hội thoại nào để cuối cùng user đạt mục tiêu?“. Nó kéo chatbot ra khỏi tối ưu từng câu đơn lẻ và buộc model nghĩ theo chuỗi turn.