一、智能语音助手的变革
智能语音助手的核心在于其能够理解用户的意图，并做出相应的决策和执行。
这一过程可以简化为以下几个关键步骤：包括用户输入请求（Query）、意图理解、决策、执行以及将结果反馈给用户（Response）。
Agent技术在帮助语音助手理解用户意图、进行复杂任务决策和执行方面发挥了很大重要性。
二、Agent技术带来的新机遇
传统语音助手架构复杂且有局限，Agent技术引入后，带来新架构和策略，使系统设计简化，智能化水平提升。
架构精简：
传统架构依赖文法规则和多个小模型，而Agent架构通过大语言模型实现语义理解，将复杂的多层架构简化为一个核心模型，降低了系统复杂性和维护成本。
垂域简化：
传统架构需维护80余个垂直领域，每个领域独立开发；Agent架构引入垂直Agent，将垂域数量简化为10个左右，提升了系统的灵活性和扩展性。
策略优化：
从依赖复杂人工调度策略的传统模式，转变为通过Planning + Action机制，Agent能够自主规划任务并执行动作，减少人工干预。
话术升级：
传统话术基于预设模板，生硬且缺乏灵活性；Agent话术通过大语言模型生成自然、流畅的回复，提升用户体验。
数据驱动：
传统模式依赖人工设计和维护规则、模板；而Agent模式通过数据驱动的方式，从海量数据中学习并优化自身能力，实现自我进化。
三、Agent在小爱同学中的成功实践
现存挑战：
Agent技术在小爱同学中的应用面临六大挑战：结合语义理解与Planning、掌握API使用并保证调用质量、融合判别与生成模型以实现自然交互、确保API质量和稳定性、通过数据驱动优化自身能力、保障毫秒级响应速度。
1、语义理解与Planning能力的结合
通过一系列技术手段，将语义理解与Planning机制相结合，提升对用户意图的理解和任务规划能力。
传统语义表示方法在处理Agent的理解方式时存在局限性。这种方法依赖于人工预设和枚举，导致其应用空间受限。在分类任务中，类别是预先定义的，这使得系统难以适应长尾需求，即那些不常见或特殊的用户请求。此外，意图槽位范式无法充分发挥Agent的规划潜力，因为它不支持复杂嵌套的逻辑关系，这限制了Agent在理解和执行任务时的灵活性和效率。
代码式语义表示提供了一种与人类语言相当的表示能力，这对于Agent的理解方式是一个显著的优势。这种方法能够发挥大语言模型（LLM）在推理规划中的优势，允许基于定义的动作与实体自由组合意图表示。
此外，LLM在Coding任务中的优势也得到了发挥，它可以根据指令输出代码，这是LLM的底层能力。这种表示方法提高了Agent在理解和执行任务时的灵活性和准确性。
多Agent框架通过分而治之、协同调度的方式，实现了Agent之间的有效合作。在这个框架中，中控Agent负责接收用户的查询并协调其他Agent的工作。
例如，中控Agent可以调用工具Agent来总结文档，然后将结果返回给中控Agent。接着，中控Agent可以调用控制Agent来发送微信，将总结结果发送给指定联系人。
这种协同工作方式提高了任务执行的效率和准确性，使得Agent能够更好地满足用户的需求。
2、提升Agent在垂直场景中的表现
优化Agent在特定垂直场景下的性能，更好地满足用户在不同领域的查询和操作需求。
在垂直场景中，Agent可能会遇到多种问题，如归一化错误、长尾表达理解不佳、业务实体不熟悉和业务功能不熟悉。例如，用户可能会说“帮我打开低电量模式”，但Agent可能会错误地打开“省电模式”。同样，对于“屏幕上字这么小怎么看得清”这样的长尾表达，Agent可能无法准确调整“字体大小”。此外，Agent可能不熟悉某些业务实体或功能，如调整音色或查找应用的特定方式。
为了提升Agent在垂直场景中的表现，需要在大规模业务数据上进行无监督训练，以补充业务知识和熟悉业务定义。此外，还需要进行高质量精细化微调，根据业务需求进行少量微调，以快速适应不同场景的业务需求。这种方法可以帮助Agent更好地理解和执行特定领域的任务。
提升Agent表现的另一个关键步骤是进行通用能力评估和领域能力训练。这包括语言建模、知识储备、上下文理解和推理能力的训练。通过这些训练，Agent可以更好地理解和处理垂直场景中的具体任务。
通过领域能力训练，Agent可以学习特定领域的业务划分和多轮会话理解，从而提高其在特定场景下的表现。
持续预训练可以显著提升模型效果。通过对比不同模型（如4B模型、7B模型和4B模型+持续训练）在单轮、多轮、鲁棒性、多指令和负例等不同场景下的表现，可以看出持续训练的模型在准确性上有明显提升。
这表明持续预训练是提升Agent在垂直场景中表现的有效方法。
3、Agent在与用户交互中成长
利用用户交互数据，不断优化Agent的能力，使其更加智能和贴合用户需求。
Agent在与用户交互中成长的过程中，环境反馈扮演着至关重要的角色。
用户通过显式反馈如点赞、点踩、投诉或提交反馈，以及隐式反馈如打断、辱骂、未听完或重说，向Agent传达其满意度和需求。这些反馈信息被Agent用来优化其性能和响应能力，确保未来能够提供更加准确和满意的服务。
Agent的成长还依赖于基于反馈的强化学习链路。这一过程涉及到业务能力训练，其中包括语义函数推理、意向性泛化和多指令拆解。
通过监督学习（SFT）和强化学习（RL），Agent能够学习如何更好地理解和响应用户的指令。此外，通过不断对齐数据和边界数据，Agent能够逐渐适应并优化其在特定业务场景中的表现。
4、提升Agent服务响应速度
优化系统架构和算法，提高Agent处理用户请求的速度，减少用户等待时间。
为了提升Agent的服务响应速度，首先需要解决大型语言模型（LLM）的性能问题。LLM的三个主要性能问题包括：随着序列长度增长，计算开销增加；Decoder结构导致串行解码效率低；以及参数量较大导致显存开销大。针对这些问题，可以通过优化算法、改进模型结构或使用更高效的硬件来减少计算和存储需求，从而提高响应速度。其次，可以通过压缩Prompt来减少输入序列的长度。在训练阶段，将Instruction Prompt转换为Soft Token，然后生成Output。在推理阶段，使用压缩后的Instruction Prompt，这样可以减少模型处理的数据量，加快解码速度。这种方法可以在不牺牲太多准确性的前提下，显著提高Agent的响应速度。这种方法涉及到使用不同的模型（如Draft Model、Ngram Model和Medusa/Eagle Model）来处理用户请求，并根据Training Data进行优化。通过这种方式，可以根据具体的业务需求定制解码过程，减少不必要的计算步骤，从而提高Agent的服务响应速度。Agent升级后能够处理更复杂的用户指令，从只能执行单一指令进化到能够同时处理多个指令。例如，用户可以要求“声音和亮度都调小一点吧”或者“单曲循环上一首歌”，Agent能够理解并执行这些复合指令。这种能力的提升显著增强了用户体验，使得用户可以通过更自然的语言与Agent交互，提高了操作的便捷性和效率。
粤ICP备14082021号
免费POC，
零成本试错
