Skill Factory：三天手搓面向Harness设计的技能工厂（附AI coding实践）

阿里妹导读

文章内容基于作者个人技术实践与独立思考，旨在分享经验，仅代表个人观点。

一、出发点

最近深度体验了一把从产品设计、UI/UX，到前后端开发，再到核心算法落地的全流程闭环。目前终于成功把流程 Run 起来，虽然在高并发处理和算法精度上还有不少待优化点，但这次实践让我对系统架构的全局把控有了更立体的认知。

先说出发点为什么要做这样一个事情，目前做一个skill的方式主要有两种，一种是人工编写skill，一种是在openclaw，Claudcode上通过对话不断交互生成skill，先说这两种方式可能会有什么问题，模式一人工编写受限于个人经验与精力，存在效率比较低，质量波动大，测试覆盖不足等瓶颈，并且可能对于团队来说容易在原子通用逻辑上重复造轮子；模式二虽提升了编码速度，但本质仍是非确定性的探索过程，缺乏自动化验证闭环与工程化约束，且一次只能生成一版，需要多轮交互才能生成一个较为稳定版本。因此面向Harness设计的技能工厂的想法就油然而生了。

二、产品功能

生产模式——标准化测试驱动技能生成

技能定义

首先用户可以输入自己想生成的技能，测试问题，和API接口，（后面也会支持挂载sop文档，之前做过像维修类场景会有一些标准化流程类操作，可行性上来说搭配对应的接口api是可以直接转化成skill的）。

基线诊断

首先判断是否有必要生成，是否直接用大模型就可以回答问题了又或者直接复用现有的skill就可以回答问题，为了回答这两个问题，构建了两个评估模块

• 裸模型评估：直接让模型执行目标任务，作为基线对照。

• skill匹配分析：召回相似skill，执行用户输入的测试问题，评估现有技能是否满足用户需求

如果不能解决或者不匹配这些失败点和不确定行为，本质上就是 Skill 需要解决的真实能力缺口

测试构建

目前测试构建主要是对用户之前输入的测试问题进行复用。

多路并发skill生成

之前调研anthropic，openclaw都有skill-creator—专门用于生成技能的skill，最近又看到一个专门为 Claude、Cursor、Codex 等 AI 编程助手设计的结构化工作流框架superpowers，github上138k个star。里面也有专门写skill的writing-skills技能，试用了一下感觉比较快并且执行writing-skills生成的技能react的次数会变少。很难讲用基于哪一种基础的skill-creator写出来的skill的效果最好并且这个环节中可能存在一些不稳定因素，LLM执行生成本身具有一定随机性，因此通过并行调用 3 种不同策略（或不同模型/不同 Prompt 模板）的 Creator，相当于一次性买了三张不同号码的彩票。结果：只要其中一路生成了高质量代码，整个任务就算成功。这极大地提高了首次生成成功率 (First-Time Pass Rate)，避免了因单一路径失败而导致的反复重试和用户等待。

回归迭代

目前为了保证整个流程的效率只做了单轮的测试+优化。

• 测试阶段

用户可以选上一阶段的某个版本或者所有版本进行测试，从格式规范，复用创新，功能可用性，运行稳定性，文档规范几个维度进行评价打分，然后发现一些可以优化的地方，比如测试的生成的一个skill和其它skill有功能重复的地方就可能导致复用创新性偏低。

• 优化阶段

生成优化版本skill，可以下载或者发布。

质量检查

三、生态适配

除了上面提到的测试驱动技能生成，还对知流平台进行了适配，可以基于知流上面的MCP，http，dify Agent工具直接生产技能。

四、迭代方向

统一入口

对背后分析迭代流程进行封装只呈现给用户结果和分析结论，允许用户一开始选择不同的分析生成模式。

基于trace的skill机会挖掘—>规模化生产+筛选

看了千问团队的一篇文章Distill Trajectory-Local Lessons into Transferable Agent Skills，Trace2Skill 的本质是将智能体的“隐性经验”（大量具体的执行轨迹）转化为“显性知识”（结构化的技能文档）。这种方法证明了，高质量的技能不需要依赖昂贵的人工编写，也不需要更新模型参数，仅通过开源的小模型）进行轨迹分析，就能提炼出通用的专家级能力。因此我们也有机会基于我们的一些日志数据沉淀出可固定的技能，感觉也有利于agent如何稳定执行长程任务

功能优化

目前有一些节点的功能还是需要进一步优化完善的，比如像回归迭代，目前只是用测试-优化-测试这种流程进行回归，但是比如像SkillRL 也是把智能体与环境交互产生的冗长轨迹蒸馏成紧凑、可复用的"技能卡片"，并在强化学习训练过程中让技能库与策略共同进化。再比如在这个“回归”的过程中我们可以融入更多的信息，用户信息，历史数据等等进行优化，还有就是对不能实际执行的技能的回归，这种情况是否有必要模拟一个虚拟环境让agent进行测试回归。

五、AI coding实践

在开发过程中主要用了以下产品帮忙设计和开发，idealab，Qoderwork，爱码仕，灵码aonecopilot等编程插件。

AI工具角色

• idealab和Qoderwork帮忙基于自己的想法做了一些产品功能页面的详细设计；

• 爱码仕主要负责前端页面生成；

• 灵码aonecopilot等编程插件 主要帮忙debug或者一些优化，还有基于想法生成整体编码框架demo，自己补充修改细节；

参考

https://docs.trae.cn/ide/best-practice-for-how-to-write-a-good-skill#84407221

https://github.com/anthropics/skills

https://github.com/openclaw/openclaw/tree/main/skills/skill-creator

附录

分析维度	模式一：人工编写	模式二：openclaw/Claude Code	模式三：SkillFactory (评测驱动、失败优先)
核心逻辑	人脑驱动完全依赖个人经验	对话驱动依赖 Prompt 技巧与上下文窗口	流程驱动标准化流水线 + 测试驱动开发 (TDD)
生产效率	低需天/周，包含编码、文档、手动测试	高	高
代码质量	波动大取决于工程师水平，风格不统一	随机性强，可能缺乏异常处理/类型提示	标准化高下限有保证
测试验证	依赖人工用户需自行执行技能测试，无自动化闭环	无自动化闭环	自动化闭环先有测试用例，再生成skill，自动回归验证
多方案探索	单线程一次只能写一种实现，推翻重来成本高	串行迭代需多轮对话调整，上下文易丢失，一次只能生成一版，难并行对比	多路并行竞优同时生成 3 种策略版本 ，择优录用
工程化程度	纯人工编写可能格式或者规范上出错	可能缺乏生产环境所需的鲁棒性与安全规范	可自己注入测试逻辑，优化逻辑以达到生产级交付
知识复用	通用逻辑重复造轮子，难抽取公共库	对话记录难共享，难沉淀最佳实践	团队资产自动识别重复模块，建议公共库化，全员共享
核心缺陷	效率瓶颈 & 质量黑盒	不可控 & 缺乏工程验证	初期搭建成本高