SCIENCE CHINA 2020 的文章，出自黄老师组的 zhangzheng 和 高信～

结合该论文梳理目前任务型对话系统的最新进展和挑战。

依旧给我的知乎打个广告，传送门～https://zhuanlan.zhihu.com/p/120657306

嘻嘻，某公众号也转载了该篇，sih觉得还是看原文理解更深一点～

The paper list of MSR in task-oriented dialog system

任务型对话系统论文列表，总结了Sih一直以来对MSR对话研究的朝拜之路～

1. Budgeted Policy Learning for Task-Oriented Dialogue Systems

   ACL 2019

   https://arxiv.org/pdf/1906.00499

   在DDQ基础上的改进，增加一个BSC模块，DDQ中的world model模块没有改进，sih认为也是用于改进训练数据的质量。

2. ConvLab: Multi-Domain End-to-End Dialog System Platform

   2019.4 提出ConvLab对话系统模块集成的平台

   GitHub链接：https://github.com/ConvLab/ConvLab

   https://arxiv.org/pdf/1904.08637

应用meta learning进行对话系统的领域适配，在MAML基础上提出DAML，未开源代码，MAML作为meta learning的具体方法之一，值得学习。

Naacl 2019

Abstract

为对话定义action space并通过强化学习来优化其决策的过程是一个长期以来的挑战。通常的做法是使用手工来定义对话动作或者词表作为动作空间，两者都有各自的局限性。本文提出了一种潜在动作框架，将端到端agent的动作空间作为潜在变量，并应用非监督方法，从数据中归纳出自己的动作空间。

Sih对目前医疗诊断领域任务型对话的总结。

微软和清华在对话系统领域的合作：ConvLab - Multi-Domain End-to-End Dialog System Platform

提出ConvLab—多领域端到端对话系统平台，它一方面提供一些可复用的组件来帮助实验人员快速实验，另一方面还可基于它在通用环境中对比大量不同方法（包括从pipeline到完全端到端好几个层级的方法，后面会细说）。另外，ConvLab还提供了一些完全标注的数据集和一些相关的预训练模型。作为一个演示，我们使用用户对话行为标注扩展了multiwoz数据集(记得好像是EMNLP2018 best paper提出来的，不仅有数据还有相应的任务)用来训练系统的所有组件，同时演示convlab如何使在多领域的端到端对话中进行复杂实验变得简单和高效。

本文主要贡献包括：ConvLab是第一个涵盖多个可训练模型和相关标注数据集的开源多领域端到端对话系统；ConvLab提供一套丰富的工具和组件用于开发不同类型的对话系统，使研究人员能够在相同条件下比较不同的方法；ConvLab通过人工和仿真器提供端到端的评估；ConvLab作为DSTC8的标准平台。

Anyway， 期待！

D3Q的一种新的改进方法。

Dialogue Simulation

Simulation-Based Evaluation

• 为什么用User simulator:

  • 通常，RL算法需要与用户交互才能学习。但是，在招募的用户或实际用户上运行RL可能是昂贵的，甚至是有风险的。解决这一挑战的一种方法是构建一个模拟用户，与RL算法交互几乎不需要任何成本。
    本质上，User simulator试图模拟真实用户在对话中的行为: a. 跟踪对话状态，b.并与RL对话系统进行对话