清华华为提出Agent技能演化框架

原文内容概括缩写： 清华大学计算机系李旭浚、郑克寒等研究团队与华为合作，提出HiSME（Hierarchical Skill Meta-Evolution）框架，解决大模型Agent在部署后面临的核心问题：如何在不更新模型参数的前提下，将执行经验沉淀下来，并在下一次任务中做得更好。传统方法依赖微调或提示工程，但无法高效利用任务执行过程中的反馈数据。HiSME引入层次化技能元演化机制，将技能分为低级原子技能与高级复合技能，通过元学习在任务执行过程中自动优化技能组合策略。框架包含两个关键模块：技能回放缓冲区（Skill Replay Buffer）用于存储成功/失败的技能执行序列；技能演化控制器（Skill Evolution Controller）利用强化学习动态调整技能选择与组合规则。实验在工具调用（如API调用、数据库查询）和长程任务（如多步骤网页操作、机器人路径规划）上验证，相比基线方法（如ReAct、Reflexion）任务成功率提升12%-18%，且推理成本降低约30%。HiSME无需额外标注数据，完全依赖Agent自身交互产生的经验，参数冻结机制使其可适配任意现有大模型（如GPT-4、Llama-3等）。研究还分析了技能演化收敛性，显示出在50个回合内即可达到性能稳定点。该工作为构建可自我进化的智能体系统提供了新范式。