master-skill 深度评测:输入一个行业自动蒸馏成技能包,80 个样本 30 万行,自检却报 7 个问题

你想让 AI 干某一行的活,最省事的办法是给它装一个技能包。问题是绝大多数技能包靠人硬写,写到第三个行业就写不动了。

swaylq/master-skill 想干的是后面那件笨活:输入一个细分行业,它自己跑六路调研、自己提炼,最后吐出一套能直接装进编码助手的行业技能。仓库只有 186 颗星,却已经攒下 80 个成型的行业样本、30.5 万行 markdown、898 个 shell 脚本。

我把整个仓库拉进沙箱跑了一遍,第一个撞上的不是功能,是它自己的自检:退出码 1。

一、它到底是什么:一个技能的工厂

先给个白话:所谓 skill(技能包),就是一份写给 AI 的说明书加一套配套脚本,AI 读到它就进入某种角色。master-skill 不做某一个角色,它做的是生产这些说明书的流水线。

它的入口分三条:你把行业说清楚了走直接路径;只说「我想做点副业」这种模糊需求,它先反问诊断;已有技能想更新,走第三条。

定下行业之后进入六轨调研,这是它最核心的设计:不是让 AI 一次写个总结,而是拆成六条互不干扰的线去查——这一行真正的大佬是谁、从业者用什么工具、日常工作流长什么样、有没有公认的教材正典、信息源在哪、术语标准怎么定。

六轨各跑完,先做一次人工复核,再把六份调研压成一份提炼稿,最后才生成成品。我在仓库里数了下它的产物结构,每个行业都长一个样:

层 放什么 实测数量
提炼模板(也就是把调研蒸馏成方法论) 入口分流、六轨提示词、提炼与质检规范 4 份提示词 + 7 份分轨提示词
每个行业的成品 方法说明书(SKILL.md)+ 调研笔记 + 命令套件 80 个目录,每个都带一份成品说明书
给 AI 直接调的工具 采集、清洗、研究、转录四组脚本 8 + 4 + 8 + 4 个,另加根目录 8 个主脚本

那些 shell 脚本不是摆设:898 个里 446 个是每个行业的流程脚本、290 个是决策清单、80 个是协议、80 个是共用库,也就是每个行业都配了一整套「按步骤跑」的命令。

举个例子,CEO 那个行业目录下有 8 个流程脚本,管资本配置、董事会沟通、危机公关、高管招聘这些动作。这是它比一般技能包重的地方:不只给 AI 一套思路,还给了一套能执行的动作清单。

二、实证:README 说全绿,自检说 7 个问题

它自带一个自检脚本,我照着跑了一遍(全套命令与原始输出在文末证据里):

$ python3 tools/self_test.py
# Self-test results — 80 prototypes checked
... 77 行 ✅ xxx: clean ...
⚠️  quant-trading-master: 7 issue(s)
   - research file missing: 01-figures.md … 06-glossary.md
   - references/synthesis.md missing
**Prototype subtotal**: 7 issues across 80 skills.
**Total**: 7 issues.
$ echo $?
1

80 个样本逐个检查,77 个干净,量化交易(也就是用程序自动跑交易策略)那个行业一次性缺了六个调研文件加一份提炼稿,CEO 和游戏设计两个被标注为「早期蒸馏」(也就是早几批做完没把调研过程留档)、调研档没入库。

旁边还有一个更刺眼的对照:CI 一共跑过 12 次,最近 4 次全是失败(9 月 2 日三次、9 月 6 日一次),而失败的那一步正是这个自检。README 的版本行还写着「72 样本自检全绿 + CI」。

比「红」更有意思的是它内部的数字对不上。同一件事在四个地方有四种说法:

说法 出处 实际
已蒸馏 72 个行业 README 第 51 行与另外三处 目录下是 80 个真行业
16 道自动检验 README 第 221 / 512 / 531 行 质检脚本里实际 17 条
all 12 rubric items 质检脚本的说明与命令行帮助 同上 17 条
all 60 prototypes CI 配置文件注释 自检自己打印 80

然后是两个质检闸门打架。同一个行业目录,我先跑机械打分那个,它判「部分通过」:17 项里 8 过 1 个部分过 1 个失败 2 个要人工 5 个跳过,失败的是第 17 条「数字必带来源」,6 个百分比一个都没标出处。

接着跑验收闸门,同一个目录它判「通过」,理由是总分 0.75 达到 0.70 的线、没有致命失败。两个脚本都能跑通、都不报错,结论一个没过一个过了。

行业目录 机械打分 验收闸门
大模型基础设施 部分通过(1 项失败) 通过 0.75
CEO 通过(1 项部分) 通过 0.81
量化交易 通过(0 失败) 通过 0.81
运维 通过(1 项部分) 通过 0.81

第三行最值得看:量化交易那个目录自检判它缺 7 个文件,机械打分却给「通过」——因为它没有调研目录,涉及调研的 5 项全部跳过,跳过等于不扣分。也就是说缺得越彻底,分数反而越好看。

还有两处是真的会让人踩坑的。它的主说明书写着工具在仓库的 skill/ 目录下,这个占位符全文出现 6 次,但我敲 ls -d skill,系统回「没有这个文件或目录」——工具其实都在根目录的 tools/ 下,按字面替换路径,AI 会指向一个不存在的地方。

另一个是冷汗级的:冷门行业检测脚本在一个目录下直接崩了,报的是找不到 skill_dir 这个字段。追下去是「调研目录不存在」时它提前返回,返回的数据里漏了那个字段,渲染第一步就去取,于是崩。

这里要公允说一句:崩的是错误处理那条路,不是工具全坏。同目录下的来源核验脚本我喂了个真实网址,它正常判出域名等级并给了理由。

三、坐标系:它在哪一格

它借力最明显的一处是微软的 SkillOpt:README 明说 v1.7 从那里借了五个机制——慢更新区、验收闸门、补丁编辑器、跨轮记忆、还有「把技能文档当成可训练参数」的思路。机制确实都在代码里,能跑,但跨轮记忆那个文件打开一看只有 1 条真实记录,三条经验全来自同一次实验。机制建好了,样本只有一条。

横向看,nature-skills 是「一次性写好一批技能」,pstack-claude 是「技能加工具一起给你」,两者都是成品交付;master-skill 卖的是造成品的那条产线,你想要哪个行业,自己跑一遍。那一侧怎么被调用,可以对照 agent-autoloop 那篇:一边管造技能,一边管把活派给 agent,合起来才是一台机器。

四、判断:谁值得跑一遍,谁先别碰

值得试一试的是这几类人:需要给团队造一个「行内专家」角色的、行业太窄没现成技能可抄的、以及想研究「怎么把调研过程工程化」的。它的六轨拆分和「先复核再提炼」的次序是真有讲究的,这套骨架抄得走。

零依赖也算优点——没有任何依赖清单文件,CI 注释直接写「纯标准库,不需要装依赖」,理论上拷下来就能跑。

先别碰的理由同样实在。这是 186 星的小众项目,71 天没提交,169 个提交里外部贡献是 0(其余几个名字查下来都是作者自己的邮箱变体),单人维护、单点停更风险很高。MIT 协议允许商用,但它没有任何依赖清单,版本一变你自己兜。80 个原型里 3 个调研链缺失。

最后一点最关键,也是我这轮跑下来最想说的:它的全部闸门都是查结构,没有一项查效果。有没有写「局限」这一栏、数字有没有标来源、网址在不在黑名单——这些都是格式题。

至于蒸馏出来的技能装进去之后,AI 是不是真的更像那一行的老手,这套流水线里没有任何一道关口能回答。所以它更像一台质检严格的印刷机,而不是一个能证明自己印得好的作者。

要试的话,建议挑一个你自己就懂的行业跑一遍,用你的常识去验收,别用它自己的分数。

关注 AI商业快讯,每天一篇 AI 热点深度解读。

发表评论