Skill Factory：三天手搓面向Harness设计的技能工厂（附AI coding实践）

推荐语

三天手搓一个面向Harness设计的技能工厂，探索如何通过标准化流程和AI并发生成，高效、稳定地生产技能。

核心内容：
1. 传统技能生成模式的痛点与技能工厂的诞生背景
2. 技能工厂的核心生产模式：测试驱动与多路并发生成
3. 实践中的挑战、优化方向与未来展望

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

先说出发点为什么要做这样一个事情，目前做一个skill的方式主要有两种，一种是人工编写skill，一种是在openclaw，Claudcode上通过对话不断交互生成skill，先说这两种方式可能会有什么问题，模式一人工编写受限于个人经验与精力，存在效率比较低，质量波动大，测试覆盖不足等瓶颈，并且可能对于团队来说容易在原子通用逻辑上重复造轮子；模式二虽提升了编码速度，但本质仍是非确定性的探索过程，缺乏自动化验证闭环与工程化约束，且一次只能生成一版，需要多轮交互才能生成一个较为稳定版本。因此面向Harness设计的技能工厂的想法就油然而生了。

技能定义

首先用户可以输入自己想生成的技能，测试问题，和API接口，（后面也会支持挂载sop文档，之前做过像维修类场景会有一些标准化流程类操作，可行性上来说搭配对应的接口api是可以直接转化成skill的）。

基线诊断

首先判断是否有必要生成，是否直接用大模型就可以回答问题了又或者直接复用现有的skill就可以回答问题，为了回答这两个问题，构建了两个评估模块

• 裸模型评估：直接让模型执行目标任务，作为基线对照。

• skill匹配分析：召回相似skill，执行用户输入的测试问题，评估现有技能是否满足用户需求

如果不能解决或者不匹配这些失败点和不确定行为，本质上就是 Skill 需要解决的真实能力缺口

测试构建

目前测试构建主要是对用户之前输入的测试问题进行复用。

多路并发skill生成

之前调研anthropic，openclaw都有skill-creator—专门用于生成技能的skill，最近又看到一个专门为 Claude、Cursor、Codex 等 AI 编程助手设计的结构化工作流框架superpowers，github上138k个star。里面也有专门写skill的writing-skills技能，试用了一下感觉比较快并且执行writing-skills生成的技能react的次数会变少。很难讲用基于哪一种基础的skill-creator写出来的skill的效果最好并且这个环节中可能存在一些不稳定因素，LLM执行生成本身具有一定随机性，因此通过并行调用 3 种不同策略（或不同模型/不同 Prompt 模板）的 Creator，相当于一次性买了三张不同号码的彩票。结果：只要其中一路生成了高质量代码，整个任务就算成功。这极大地提高了首次生成成功率 (First-Time Pass Rate)，避免了因单一路径失败而导致的反复重试和用户等待。

回归迭代

目前为了保证整个流程的效率只做了单轮的测试+优化。

• 测试阶段

用户可以选上一阶段的某个版本或者所有版本进行测试，从格式规范，复用创新，功能可用性，运行稳定性，文档规范几个维度进行评价打分，然后发现一些可以优化的地方，比如测试的生成的一个skill和其它skill有功能重复的地方就可能导致复用创新性偏低。

• 优化阶段

生成优化版本skill，可以下载或者发布。

质量检查

除了上面提到的测试驱动技能生成，还对知流平台进行了适配，可以基于知流上面的MCP，http，dify Agent工具直接生产技能。

对背后分析迭代流程进行封装只呈现给用户结果和分析结论，允许用户一开始选择不同的分析生成模式。

基于trace的skill机会挖掘—>规模化生产+筛选

看了千问团队的一篇文章Distill Trajectory-Local Lessons into Transferable Agent Skills，Trace2Skill 的本质是将智能体的“隐性经验”（大量具体的执行轨迹）转化为“显性知识”（结构化的技能文档）。这种方法证明了，高质量的技能不需要依赖昂贵的人工编写，也不需要更新模型参数，仅通过开源的小模型）进行轨迹分析，就能提炼出通用的专家级能力。因此我们也有机会基于我们的一些日志数据沉淀出可固定的技能，感觉也有利于agent如何稳定执行长程任务

目前有一些节点的功能还是需要进一步优化完善的，比如像回归迭代，目前只是用测试-优化-测试这种流程进行回归，但是比如像SkillRL 也是把智能体与环境交互产生的冗长轨迹蒸馏成紧凑、可复用的"技能卡片"，并在强化学习训练过程中让技能库与策略共同进化。再比如在这个“回归”的过程中我们可以融入更多的信息，用户信息，历史数据等等进行优化，还有就是对不能实际执行的技能的回归，这种情况是否有必要模拟一个虚拟环境让agent进行测试回归。

在开发过程中主要用了以下产品帮忙设计和开发，idealab，Qoderwork，爱码仕，灵码aonecopilot等编程插件。

• idealab和Qoderwork帮忙基于自己的想法做了一些产品功能页面的详细设计；

• 爱码仕主要负责前端页面生成；

• 灵码aonecopilot等编程插件 主要帮忙debug或者一些优化，还有基于想法生成整体编码框架demo，自己补充修改细节；

参考

https://docs.trae.cn/ide/best-practice-for-how-to-write-a-good-skill#84407221

https://github.com/anthropics/skills

https://github.com/openclaw/openclaw/tree/main/skills/skill-creator

附录