已标注

本章节将讲解：已标注界面如何进行质检、优化操作。

已标注页面主要用于标注完成后结果的查看与复核，在这里的主要动作是质检与将用户结果加入机器人的意图触发中。

1 界面操作介绍

1. 界面字段：
   1. 标注语句：标注时的语句，如果标注时改动了原语句，则展示改动后的语句
   2. 标注意图：在待标注页面选取的标注意图，未召回和已删除意图会显示为“-”
   3. 标注结论：根据标注结果自动判别标注结果，判别规则见下节，标注结果的出具原则
   4. 标注时间：标注时间，格式如 2021-09-17 20:37:46
   5. 消耗记录：加入过意图触发、暂无记录
   6. 操作：
      1. 重新标注：点击后重新打回待标注，但是如果已经被操作过意图触发则不会打回
      2. 删除：彻底删除该条标注记录

2. 筛选字段和字段值：

1. 日志语句：即询问时间对应时间段，格式举例 “2021-09-21 → 2021-09-27” ,可以点击选择日期区间段。
2. 标注日期：即标注对应时间段，格式举例 “2021-09-21 → 2021-09-27” ,可以点击选择日期区间段。
3. 标注结论：可以选正确、召回错误（库内）、召回错误（库外）、语意不明、忽略、召回遗漏、属于新意图共七种，可以多选。
4. 消耗记录：可以选择加入过意图触发、暂无记录，可以多选。 以上各项筛选可以共存。 点击“确定”按照相关逻辑筛选，点击“收起”收起筛选界面，上次点击确认筛选的选项收起后不会丢失。

3. 加入意图触发，可以多选标注语句，批量加入意图触发。

注意：修改后意图触发的生效需要点击生效和“训练与发布”进行训练和发布机器人。

那怎么应用这些功能呢？想要知道如何应用这些功能，首先得了解利用这些功能可以做哪些事情，意义是什么。

2 意图标注与优化

可以简单地认为，机器人最开始的环节就是识别用户意图，用户意图识别不对，很有可能出现，回复的答案出现错误，答案方向偏离用户需求等问题，所以首先我们先要对机器人覆盖率、召回率和准确率进行评估，评估的方法我们称之为标注。

在标注过程中，我们会按照标注规则对机器人回复的不同情况进行分类，之后分别分析回复错误的原因，这样有助于我们了解机器人现存的问题，能够更有针对性地进行优化。

在来也科技，将规范且正式的标注称之为黄金标注，因为这种标注和黄金一样宝贵。

标注原理

第一步首先区分机器人是否召回，机器人是否召回很容易评估，就是用户语句经过和机器人的意图匹配之后是否能给与对应回复，只要置信度超过设定的阈值，就能得到机器人的回复，就是一次召回。

第二步是针对准确或不准确的区分，我们主要分为这样几个情况：

1. 正确：机器人召回了正确的意图，如果召回无意图，则回复兜底；
2. 机器人范围内错误召回：用户消息在机器人内有对应意图，但是机器人回复了其他意图(含无意图)的答案或回复兜底响应；
3. 机器人范围外：用户消息属于业务范围内，但在机器人内没有对应意图，机器人回复了某个意图的答案或回复兜底响应；
4. 语意不明：用户发送了语意不明的消息，但是机器人回复了某个意图的答案或回复兜底响应；

可以很容易理解什么是正确的意图，就是用户提问与所召回意图的语意一致或没有召回也不应召回，但是这里新提出了两个概念，机器人范围和语意不明。

• 机器人范围
  • 用户消息在机器人内有对应的意图，即为在机器人范围内；
  • 与业务场景相关，但是在机器人中没有对应意图的消息，则算机器人范围外；

    在这里要辨明机器人范围和业务范围的关系，这两个并不是等同的，一个是要不要服务人员回答，另一个是是否已在机器人内维护相关意图。

• 语意不明
  • 纯数字、字母、表情、符号、无法理解文字含义的句子以及与业务无关的消息；

无意图 V.S. 语意不明

无意图放的是不希望机器人回复的问题，简单来说，无意图是黑名单；语意不明则不一定是机器人不需要回复的内容，我们可以通过一定的引导将用户的部分不能识别语意意图引导为完整的提问，从而回复用户。

通常来说，用户问了业务领域内的问题，如果没有对应的配置，那么则算语意不明，如果我们有相应的配置，那么这个问题就能被机器人回答上来了。

比如，人事场景询问了“五险一金”，如果意图配置了“五险一金”，那么应该回复“五险一金”这个关键词的答案，一般来说这个回复可以是针对五险一金的答案和关联意图提示。但是在这个例子中，将“五险一金”维护成无意图是不合适的。

tip

无意图 V.S. 语意不明

无意图放的是不希望机器人回复的问题，简单来说，无意图是黑名单；语意不明则不一定是机器人不需要回复的内容，我们可以通过一定的引导将用户的部分不能识别语意意图引导为完整的提问，从而回复用户。

通常来说，用户问了业务领域内的问题，如果没有对应的配置，那么则算语意不明，如果我们有相应的配置，那么这个问题就能被机器人回答上来了。

比如，人事场景询问了“五险一金”，如果意图配置了“五险一金”，那么应该回复“五险一金”这个关键词的答案，一般来说这个回复可以是针对五险一金的答案和关联意图提示。但是在这个例子中，将“五险一金”维护成无意图是不合适的。

结合机器人的回复情况，我们可以将用户消息的语意结合机器人反应分为以下几种类型：

1. 正确：机器人召回了正确的意图、或兜底，包含通过人为设置无意图所形成的兜底；
2. 召回错误（库内）：用户消息在机器人内有对应意图，但是机器人召回了其他意图；
3. 召回错误（库外）：用户消息属于业务范围内，但在机器人内没有对应意图，机器人召回了某个意图；
4. 语意不明：用户发送了语意不明的消息，但是机器人回复了某个意图的答案或兜底；
5. 召回遗漏：用户消息在机器人内有对应意图，但是机器人回复了兜底；
6. 属于新意图：用户消息属于业务范围内，但在机器人内没有对应意图，机器人回复了兜底；
7. 忽略：本条消息忽略，不标注；

3 意图准召优化方法

1. 正确
   • 理想状态，无需进行优化，或可选择加入到标注正确的意图中；
2. 召回错误（库内）
   • 可能是由于相似问错放、不同意图存在语意交叉、或意图颗粒度不合理导致；
   • 需要梳理对应意图内的相似问题，或新增专有词汇等操作来进行调优；
3. 召回错误（库外）
   • 将该问题编辑为新意图加入机器人中，并注意与已有意图的语意进行区别；
   • 查看误召回的意图是否与该问题存在语意上的交叉，并进行调整；
4. 召回遗漏
   • 对应意图中可能缺少类似问法，需要添加相似问题；
   • 也可能需要添加专有词汇；
5. 属于新意图
   • 需要将该问题作为新意图加入机器人中，并注意与已有意图的语意进行区别；
6. 语意不明
   • 查看误召回的意图是否与该问题存在语意上的交叉，也可通过调整阈值的方式来进行解决；
   • 如该消息与机器人内容有关，可通过欢迎语及兜底话术，或设置关键词对用户提问方式进行引导；
   • 如该消息特别不想回复，可加入无意图意图中；
7. 忽略
   • 本条消息忽略，不进行处理；

4 意图召回标注和优化总结

召回情况	用户结论	标注结论	标注操作描述	常用优化方法
召回	正确	正确	点击历史识别意图后的正确；与识别意图相同的推荐意图后的正确按钮；者搜索与识别意图相同的意图标注正确并点击库内	不调整或加入意图触发逻辑
召回	错误，应召回另一个意图	召回错误（库内）	点击与历史识别意图不同的推荐意图后的正确按钮；或者搜索标注为与历史识别意图不同的意图，并点击库内	加入到标注正确的意图中或调整专业词汇
召回	错误，应新增一个意图	召回错误（库外）	点击搜索其他意图，标注为新建或选择召回后新建的意图后，并点击库外	加入到标注的新增的意图中
召回	语意不明	语意不明	标注为语意不明	不操作
召回	忽略	忽略	标注忽略	不操作
兜底	正确，正常兜底	正确	点击“-”后的正确按钮	不操作
兜底	错误，应召回一个意图	召回遗漏	点击推荐意图，或者搜索标注意图后点击库内	加入到标注正确的意图中
兜底	应新增一个意图	属于新意图	点击搜索其他意图，标注为新建或选择召回后新建的意图后，并点击库外	加入到标注的新增的意图中
兜底	语意不明，不操作	语意不明	标注为语意不明	不操作
兜底	忽略	忽略	标注忽略	不操作

5 结合产品操作

相应的，在产品中可以在“待标注”页面，对召回意图的结果进行标注，标注可以选择对应意图（正确）或其他意图（错误）；可以选择后期新增的意图，标注为库外；标注为语意不明以及忽略同样是可以的。

再结合产品历史的召回情况，即可对应出来标注结论，分别是正确、召回错误（库内）、召回错误（库外）、语意不明、召回遗漏、属于新意图、忽略。

根据这些情况，筛选勾选对应的需要加入机器人的部分，点击“加入意图触发”，即可快速完成机器人教育。

标注结果不合适的部分，可以选择打回返工重新标注；无需标注可以选择删除。

note

语意不明，忽略因为没有对应意图，所以不能被加入某个意图，而是仅会形成操作记录。