RAPTOR 深度评测:4,023 Star 的自主安全研究框架,AI 写代码人来定方向,正式版落后主干 9,181 个提交

RAPTOR 深度评测:4,023 Star 的自主安全研究框架,AI 写代码人来定方向,正式版落后主干 9,181 个提交

用过 Claude Code 的人大概率见过这一幕:让它查一处可疑代码,它翻两个文件就回你「这里没有安全问题」;你再追问,它换个说法,结论还是没问题。

安全这件事不能靠猜。可真请人做一次代码审计,报价动辄几万起步,小团队根本排不上。

有个 4,023 Star 的开源项目想换掉这个「猜」字:让模型只负责提假设,判决权交给工具。奇怪的是,它的作者一再劝你别用最新代码。

一、RAPTOR 到底是个什么东西

一句话:它把「AI 帮你查漏洞」这件事拆成几道工序——先机械扫描,再逐一验证告警真假,最后给出可复现的攻击样例和补丁草稿。

名字是「递归自主渗透测试与观察机器人」的缩写,作者们自己也承认,取这个名字纯粹是因为听着带劲。

它的作者名单本身就是一层背书:Gadi Evron、Daniel Cuthbert、Thomas Dullien(安全圈更熟的名字是 Halvar Flake)、Michael Bargury、John Cartwright。这几位在攻防研究里属于「名字印在教材致谢页」的那一类人。

最值得注意的是它对自己血统的坦白。仓库首页原话大意是:这套东西大部分由 AI 写出来,人负责定方向、审输出、做设计决策,靠测试和静态分析把质量线钉住。

二、关键设计:谁提假设,谁下判决

多数「AI 查漏洞」工具有同一种毛病:模型看一眼代码,说这里危险,谁也没法证伪。

RAPTOR 反过来分工。模型读完上下文只能提出猜测,比如「这个入口的输入可能直接拼进数据库查询」;接着它必须调用真正的分析工具去验证——把代码路径追下去、把数据流画出来,拿到工具的判定结果才算数。模型不能自己给代码下「有漏洞」的结论。

这套规矩带来一个副作用:它对环境极其挑剔。

能力 依赖的外部工具 我这台机器上的状态
源码扫描 Semgrep 或 CodeQL 缺失
模糊测试(拿随机输入把程序撞崩) AFL++ 缺失
跨函数追踪污点数据 Joern 缺失
二进制逆向 radare2 缺失
数学可行性验证 Z3 求解器 缺失
崩溃根因定位 gdb、rr 缺失

跑它自带的体检命令,结果是 0 项失败、7 项通过、13 条警告。逐条看这 13 条:1 条只是「某个环境变量没设」的提示,剩下 12 条里 10 条是「某件外部工具没装」(包括上表没列出的补丁校验器、动态插桩工具和它的追踪工具),还有 1 条是「某个可选语法组件没装」、1 条是「某朵云没配好」。也就是说,「失败为零」完全不等于能用,这 12 条能力缺口才是它真正需要的东西。

作者给的最省事路线是用官方准备好的容器镜像,把工具链一次性装齐;手工安装则要自己凑齐上面这张表。

三、我把代码拉下来实测了什么

规模是真的,而且大头在测试上。 仓库 9,316 个 Python 文件、278 万行代码。拆开看:产品代码 109.6 万行、2,252 个文件;测试代码 169.1 万行、7,064 个文件,测试占 60.7%。一般开源项目里测试代码往往少于产品代码,它是反过来的 1.5 倍。

测试不是凑数。6,709 个测试文件里,只有 42 个短于 20 行(0.6%),绝大多数是真写了一堆断言。

但文件拆分吓人。 单一个审计调度文件就有 38,704 行、518 个函数,其中最长的单个函数 3,508 行,后面还有 2,498 行、2,150 行、2,033 行的。这很像 AI 生成代码的典型形态:机器不怕长,人不忍拆。

最实用的坑:文档和主干差两个月。 最新正式版本发布于 9 月 7 日,而主干分支已经领先 9,181 个提交。首页上「用稳定版」的劝告是真的——你照着最新文档敲命令,碰到的可能是两个月后的代码。这不是新鲜度的优点,而是实打实的使用门槛。

唯一不靠模型也能跑的部分,我跑通了。 依赖与供应链检查不需要任何模型接口:

实测项 结果 意味着什么
耗时 1.1 秒 可以塞进每次提交的自动检查
解析依赖 145 个 连工作流里引用的第三方动作都算进去了
生成的物料清单 106 个包 这是回答「你的软件到底装了什么」的凭据
检出条目 167 条(许可证 97、卫生 62、供应链 5) 注意是「待处理项」不是「漏洞」
已知漏洞 0 个 但见下一行
漏洞库查询 86 次全部失败 我那台机器出网受限,它如实报「查询不可用」

最后一行是我最认可的一处设计:它没有把「查不到」悄悄算成「没漏洞」,而是明确标出本次覆盖不完整、这些依赖的安全公告可能缺失。安全工具最怕的就是这种沉默。

许可证要留个心眼。 仓库里的许可证原文是标准 MIT,但代码托管平台的自动识别标成了「未识别」,因为它捆绑了一份公有后缀列表(那部分适用另一份开源协议),还挂了一个子模块(第三套协议)。要商用的话,得先读它的第三方声明文件。

自己也要花点钱。 用模型做分析时,单个源码扫描任务默认给了 5 美元的消费上限,全自动流程默认 10 美元——这个设计挺务实,但意味着它不是一个「免费跑」的工具。

四、谁该用,谁别碰

同类里可以对照两个方向:偏「技能包」的轻量安全审计(把规则和提示词打包,装进助手就能跑),和商业化的代码审计平台(按项目收费,结论有人签字)。RAPTOR 站在中间:比重型平台便宜,比轻量技能包重得多,成本主要花在装工具链上。

适合:手上有代码要过一遍、愿意花半天配环境的安全工程师;想给自家产品做上线前自查、并且只把报告当参考线索的小团队;想学「模型+工具」怎么分工的开发者——它的仓库本身就是一份可读的工程范本。

别指望:装完就出结论。它的报告是线索,不是结论,更不是「这份代码安全」的证明,作者把这句话写在了首页。

对非技术读者,它给不了一条「装上就能赚钱」的捷径。真正值钱的部分不是这套代码,而是它示范的那套分工:让擅长说的去说,让擅长证的去证。

五、我的判断

值得放进观察清单,但别急着上手。

它最像的不是一个产品,而是一份公开的工程笔记:几位资深攻防研究者花一年时间,演示了「AI 写代码、人定方向、测试守底线」能走到哪一步。这套分工值得每个正在用 AI 写生产代码的人抄回去。

真要用来干活,建议等它的容器镜像和文档追平主干——现在这个版本,差着九千多个提交。

关注 AI 商业快讯,每天一篇 AI 热点深度解读。

Cursor 安全复盘:第三方推理商的密钥泄露,5,000 名开发者装上带 SSH 后门的 Claude Code 扩展

Cursor 安全复盘:第三方推理商的密钥泄露,5,000 名开发者装上带 SSH 后门的 Claude Code 扩展

5,000 名开发者,装了一个假的 Claude Code。

不是他们贪心,也不是点了钓鱼链接。他们只是在 Cursor 的扩展市场里,更新了一个自己天天用的插件。11 月 13 日,Cursor 用一篇 6 分钟的复盘承认:这把刀,是从供应商那边递过来的。

发生了什么

事情的起点不在 Cursor,在 Fireworks——一家提供模型推理服务的第三方厂商。推理(也就是模型跑一次回答)这块活,Cursor 把一部分交出去了。

Cursor 发给 Fireworks 一把访问钥匙(一把只能读数据的凭证),用来共享训练用的数据。按照 Cursor 的说法,这把钥匙是被 Fireworks 那边泄露的。攻击者拿它打开了一个只读存储桶——只能读、不能改的网盘——里面存着历史编码对话记录,大部分是 2025 年的,来自没开隐私模式的用户。

问题出在这些记录里:有一小部分,其中的接口密钥(就是调用各家 AI 服务时要出示的那串口令)忘了打码。拿到它们,攻击者一路摸进 Cursor 内部若干个 SaaS 工具(在线客服、监控这类第三方服务),读到归档的非生产源码仓库、部分客服邮件、产品使用数据、部分对话摘要,还有用户以前发给客服的凭证。

最后一步最狠。10 月 29 日,攻击者用偷来的一个市场发布凭证,把两份假的 Claude Code 扩展直接放进了 Cursor 用来分发扩展的缓存,版本号 2.1.312 和 2.1.313。从凌晨 2 点 27 分到下午 1 点 35 分,挂了大约 11 个小时。Cursor 估算,最多 5,000 名在这段时间请求了这两个版本的用户,可能装上了带 SSH 后门的版本。

(SSH 是远程登录服务器的常用通道;后门,就是有人给自己留了一把能随时进来的钥匙。)

数字与一手细节

关键数字摆齐,全部来自 Cursor 官方复盘与 10 月 29 日的安全公告:

  • 暴露时长:约 11 小时(10 月 29 日 2:27 至 13:35,太平洋时间)
  • 潜在中招人数:最多 5,000 人
  • 对话记录被波及的用户:不到 0.05%;接口密钥被波及的客户:不到 0.01%
  • 恶意版本:Anthropic.claude-code 2.1.312 与 2.1.313,仅 macOS 与 Windows
  • 最后一次攻击者活动:11 月 1 日,已被阻断

恶意代码干的事很具体:收集主机名、用户名、系统版本、工作目录、Git 邮箱和公网 IP,把攻击者的公钥(备注名 svc-telemetry)写进你的免密登录名单,再拉起一条反向隧道——从你的机器主动连出去,让外面的人能反向进来。它还会在 macOS 上装开机自启,在 Windows 上建计划任务,后台每 60 秒重试一次。

反过来说,这条后门在多数机器上其实没打通。Cursor 自己写明:开启本地 SSH 服务需要管理员权限,而恶意扩展在绝大多数 mac 和 Windows 上没有这个权限;再加上恶意代码本身有错误,这一步大概率失败。攻击者的服务器也已被托管的云厂商下线。

还有两个容易被忽略的事实:Anthropic 没有发布过这个版本,Cursor 的上游扩展源 Open VSX 里也从未出现这个恶意包。换句话说,问题不在模型厂商,也不在开源源站,而在中间那层分发缓存。

反转:挡住攻击的是运气,不是防线

这里有两层反转,值得分开看。

第一层,Cursor 的口径和事件本身是矛盾的。官方反复强调「绝大多数客户没有受影响」,从比例上讲没错——0.05%、0.01% 都是很小的数字。但对被点中的那 5,000 个人来说,比例毫无意义:他们在自己的编辑器里,装了一个带 SSH 后门的扩展。而且 Cursor 在 10 月 29 日的公告里明确写了一句:光卸载扩展可能不够,因为恶意代码会丢下独立的常驻脚本,继续跑。

第二层反转更冷酷:这次没出事,很大程度上是因为攻击者写错了代码。安全研究者复盘发现,恶意脚本在多数没有预先开启 SSH 服务的 mac 和 Windows 上都会失败。救下这批开发者的是攻击方的失误,不是防守方的能力。

把镜头拉远,Cursor 不是孤例。安全厂商 Wiz 把这轮针对 AI 开发平台的连环入侵叫「黑色十月」:10 月 9 日 Fireworks 首次披露,10 月 15 日 Lightning AI,10 月 16 日 OpenCode,10 月 20 日 Railway,10 月 23 日 Warp,10 月 30 日 Northflank,再加上 Cursor 与 Fireworks 的第二次。平台 Zeabur 已经因为这起事件宣布关停。

其中 Railway 公布的一手数据最能说明这门生意的规模:最多 1.85% 的工作区(约 10 万个) 的环境变量可能被解密,1,852 名用户的关联令牌被重置,被偷走的钥匙造成的未授权消费估计达到 74 万美元。攻击者在数据库里按正则表达式专门筛「AI 供应商密钥」这一类变量,还专门挑环境变量数量多的客户下手。

动机并不神秘:偷到的 AI 凭证可以转卖给路由网关,用来做大模型盗刷(行话叫 LLMJacking,也就是盗用别人的账号额度,转手把模型调用卖出去),也可以拿去炼自己的模型——行话叫蒸馏,意思是拿别人的模型输出去训练自家的模型,省下大笔训练成本。Wiz 记录的两个下游滥用案例,光按标价计算就烧掉了超过 10 万美元。

对你意味着什么

如果你用 Cursor、VS Code 或任何带扩展市场的编辑器,这件事的关键不在「Cursor 安不安全」,而在这条链条有多长:

你的编辑器信任扩展市场,扩展市场信任发布凭证,发布凭证来自内部系统,内部系统被一把发给第三方推理商的钥匙打开,那把钥匙被推理商泄露。

五层里,你只能看见第一层。你点「更新」的时候,实际是在替后面四层一起背书。

更值得记住的是数据侧的教训:一份 2025 年的历史对话记录,因为几句忘了打码的密钥,就能把攻击者从「只读」抬到「能写入」。这不是某家公司的疏忽,而是整个行业为了做模型训练而长期保留对话数据这个默认设置带来的结构性风险。这也是为什么 Cursor 这次的处置里,最彻底的一条是把所有推理流量从 Fireworks 整体迁走。

我该做什么

按优先级,四件事。

一,先自查。恶意扩展会在免密登录名单里留一个备注为 svc-telemetry 的公钥。macOS 终端执行:

grep -qs svc-telemetry ~/.ssh/authorized_keys && echo "命中" || echo "干净"

Windows 在 PowerShell 里查 %USERPROFILE%\.ssh\authorized_keys 与 C:\ProgramData\ssh\administrators_authorized_keys 两个文件,搜 svc-telemetry。命中就按 Cursor 公告里的清理脚本处理,并考虑重装系统。

二,判断自己在不在名单里。开了隐私模式的用户,对话记录不在那个存储桶里;没开的,如果当时装了这两个恶意版本,你应该已经收到 Cursor 的站内通知或邮件——Cursor 说没收到通知,你的数据就不在这批记录里。

三,轮换凭证,别只卸载。只要你的机器在 10 月 29 日那两个版本期间装过扩展,就从一台干净设备上重置这台机器能碰到的所有密钥,尤其是你曾经发给过客服的那些。

四,对团队来说,把供应商事故写进自己的应急清单。这次真正的入口是一家你大概率没听说过的推理服务商。提问方式可以很简单:我们交给第三方的数据,留存多久、存在哪、谁能读、泄露了怎么通知我们。答不上来的,就是风险敞口。

—

过去一个月,同一个剧本在至少七家 AI 开发平台上重演了一遍,Cursor 只是其中第一个把完整链路公开到「一把钥匙怎么变成 5,000 个后门」的公司。这类事故还会再来,因为只要 AI 凭证能直接换成钱,撞供应商的门就永远比撞你的门便宜。

关注 AI商业快讯,每天一篇 AI 热点深度解读。

相关阅读:

参考来源:

  1. Cursor 官方复盘《An update on our recent security incident》(2026-11-13,一手)https://cursor.com/blog/security-incident-update
  1. Cursor 官方安全公告《Security notice — malicious version of Anthropic.claude-code 2.1.312 and 2.1.313》(2026-10-29,一手)https://cursor.com/blog/claude-code-extension-security-notice
  1. BleepingComputer《Cursor confirms security breach led to malicious Claude Code extension》(2026-11-14)https://www.bleepingcomputer.com/news/security/cursor-confirms-security-breach-led-to-malicious-claude-code-extension/
  1. Wiz《”Black October” for AI Developer Platforms》(安全厂商分析)https://www.wiz.io/blog/black-october-for-ai-developer-platforms
  1. Railway 官方事件报告《Incident Report: October 21st Security Attack》(2026-11-10,一手)https://blog.railway.com/p/incident-report-october-security-incident

gentle-ai 深度评测:8987 Star 的编码代理配置器,一次写进 18 个助手的规矩文件

gentle-ai 深度评测:8987 Star 的编码代理配置器,一次写进 18 个助手的规矩文件

用 Claude Code 写代码的人,多半都干过同一件蠢事:把「提交信息用中文、别加 AI 署名、改完必须跑测试」这几条规矩,一遍遍贴进每个新项目。换台电脑要重贴,换个工具还要再贴一遍,写成什么样全凭当天心情。

gentle-ai 想一次解决这件事。它不造新的 AI 助手,而是给你已经在用的那个「装规矩」:把记忆、工作流、技能库、代码审查这一套,一次写进 18 种不同编码助手的配置文件里。项目 8,987 星,MIT 许可,Go 写成,最近一次提交就在今天。

我把它装进一个隔离的空账户里跑了一遍。结论先说:它确实一次配好了,代价是往你电脑里塞进近一千二百个文件,还把一份用不上的 43MB 仓库副本一起带了进来。

它到底替你做了什么

「支持 18 个助手」这句宣传,我先去代码里数了一遍。决定「选哪个助手、走哪套适配」的那个文件里,正好 18 个分支,对应的都是主流编码助手,从 Claude Code、Cursor 到 Codex、OpenCode,再到 Gemini CLI 这一档。

通俗讲,它是一把万能转换插头:你手里是哪个牌子的充电器,它就换出哪个牌子的插孔,插座本身不用动。

装的时候你不用一件件挑,它按一个叫「预设」的清单一次性铺开:

装了什么 干的什么活 落到你电脑的哪儿
人设与规则 一段几万字的开发规矩,写进助手的全局指令文件 ~/.claude/CLAUDE.md
技能库 8 个可复用技能,比如「一个提交只做一件事」 ~/.claude/skills/
记忆 一个叫 Engram 的独立程序,跨会话记住项目决策 ~/.local/bin/engram
提交前审查 一个叫 GGA 的脚本,commit 前让 AI 看一眼改动 ~/.local/bin/gga
审查引擎 项目自己的一套代码审查流程,可开关 写进助手的钩子系统

我装了一遍,三个数字值得记

装的过程很顺。我把「家目录」指向一个空文件夹,等于给它在沙漠里盖了间房,装完对真机零影响。全程两百多秒,最后一步打印「25 项自检通过,0 失败」。

但清点成果时,有三个数字值得记下来。

第一个:1,188 个文件。 这是它在你账户下新建的文件总数,其中 1,171 个都在 .claude 这一个目录里。真正有内容的是几百个,剩下的是那份记忆程序仓库的完整副本。

第二个:43MB。 这是 .claude 目录里那块「插件市场」缓存的大小,其中 15MB 是版本历史。为了让你多一个记忆功能,它在配置目录里留了一整个项目的源码。对 20G 硬盘不算什么,但对「只想配个规矩」的人来说,这个体积来得莫名其妙。

第三个:8 个技能,索引里只登记 7 个。 装完的技能目录里有 8 份说明书,但项目自带的技能索引只列出 7 条。少掉的不是出错,是它主动跳过了一个共享文件夹,和「管理索引的那个技能」本身。这个逻辑说得通,只是你按「9 个」去数会对不上。

32 万行测试守着 20 万行实现

对一个「配置文件生成器」来说,这个仓库的体量是反常的。

去掉测试,它的 Go 代码有 19.7 万行;测试代码 32.5 万行,比实现还多 65%,相当于每写 1 行逻辑就有 1.65 行测试盯着。测试函数 7,602 个,分在 95 个包里。我随手跑了其中四组(代理适配、技能索引、数据模型、遥测),二十多个子包全部通过,最慢的一组用了 7 秒。

这个比例意味着什么?意味着作者把「配置写错一个字符就可能弄坏别人电脑」当成了头号风险。它也解释了另一个数字:仓库里有 60 份 JSON 格式的接口契约,合计近 1.1 万行,专门规定审查流程的每一步该传什么、返回什么。这是「先定合同再写代码」的写法。

我自己也跑了一遍它最核心的审查功能。拿一个假的 Git 仓库,改一行 Go 代码,它判断风险为「中」,要求跑 1 项检查;改成只动 Markdown 文档,它直接判定低风险、无需审查。这个分寸是对的,不是一律拦下,也不是一律放行。

三个坑,写在这儿免得你自己踩

坑一:遥测默认开着。 装完我第一件事就是查状态,显示「已启用(默认)」,还带一个安装编号。安装日志写明了发送什么:版本号、操作系统、装了哪些助手、各类计数;某些集成下还包括用的是什么模型、消耗多少 token、耗时、错误类别。它给了关闭命令,也没藏着掖着,但默认开着这件事,介意的人得自己动手。

坑二:仓库根目录那份基准成绩,是事故留下的。 仓库里有个文件记着自动化测试的成绩,打开一看只有 1 条记录,状态还是「失败」,失败原因写着「不是一个 Git 仓库」。更奇怪的是里面记的可执行文件路径,指向一个临时目录。

我去翻了项目自己的复盘文档,找到了答案:这份文件是从开发机的工作目录里被顺手 git add 扫进去的,作者把它列进「工具层面的意外」。真正完整的那份在另一个目录,64 条记录全部完成。这条不影响你使用,但它说明一件事:连这个项目自己,也会被「顺手一把梭」坑到。

坑三:被拦下时,近六成不告诉你下一步。 仓库自带一份衡量「AI 助手操作体验」的基准测试,64 个场景里共有 69 次拦截。其中 29 次给出了可直接复制的下一步命令,另外 39 次只说「不行」,不告诉你该敲什么。项目自己的说法是,这 39 次里有些确实给不出命令(比如「你得自己去改代码」),属设计如此,但比例仍然偏高。

谁该装,谁别急

和它同一赛道的东西大致三类。一类是各家助手自己的规矩文件,最省事,但换工具就得重写;一类是技能包合集,管「装什么能力」不管「写代码的规矩」;第三类就是它这种总配置器,一次覆盖多个助手。

如果你同时在用两种以上编码助手,或者经常换机器,它的价值是实的:一次配置,十八个工具通用。如果你只用其中一家、且已经有自己的规矩文件,装它是拿 43MB 磁盘和一整套新概念去换一点便利,不划算。

还有一点要有心理准备:它不是一个装完就忘的工具。审查流程会插进你每次提交的动作里,第一周大概率会被它拦几次。要不要留,取决于你愿不愿意为「提交前有个机器看一眼」多花那几十秒。

我的判断是:放进观察清单,用它解决「多工具配置漂移」这个真问题;装之前先把遥测关掉,并且别指望它小。它是个认真过头的工程品,不是一片创可贴。

关注 AI商业快讯,每天一篇 AI 热点深度解读。

agent-autoloop 深度评测:两天 2878 Star 的命令行 Agent 调度中台,内核 1772 行,测试代码是它的 6.5 倍

agent-autoloop 深度评测:两天 2878 Star 的命令行 Agent 调度中台,内核 1772 行,测试代码是它的 6.5 倍

大多数人用 Claude Code 或 Codex 的方式,是坐在终端前面盯着它跑。你敲一句话,看它执行,等它问你下一步。窗口一关、人一走,这件事就断了。

Agent Autoloop 押的是另一个前提:终端不该是需要人守着的地方。它把这套东西拆成一个后台小服务,任务从定时、GitHub Issue、业务系统告警进来,自动派给你本机已经装好的命令行 Agent;Agent 干完一轮就退出,碰到要删数据、要停服务、要花钱这类事才给你推一张卡片,等你点完再接着干。

这个仓库 11 月 3 日才建,两天涨到 2878 Star。我在一台 Linux 沙箱里把它 clone 下来跑了自带的核心测试和模拟,也顺手核了几个 README 没写的东西。

它到底是个什么东西

一句话:一个任务调度中台,不是一个 Agent。它自己不会思考,也不调用任何模型。

拆开是四层。内核负责「什么事该派给谁」;外壳负责 Node 的 HTTP、SQLite、时钟这些落地的事;协议层定义 JSON 格式和校验规则;接单程序负责真正把 Agent 拉起来、盯着它跑、把最后一条回复交回去。

Agent 和中台之间只有一个约定:在最后一条回复里交代结果。办完了输出一句结论;要请示就在回复末尾贴一段带 agent-autoloop 标记的代码块,里面写你想问什么、有哪几个选项。这个约定有个好处——任何能打印最后一条消息的命令行工具都能接,不需要接入任何开发工具包,也不需要改 Agent 源码。

它把四套成熟的计算机工程做法搬了过来,这也是我认为它值得写的真正原因:

机制 一句话人话 借用自
挂起零消耗 等你拍板时进程直接退出,等待状态存在数据库里;你三天不回,这三天就没 Agent 在跑、不烧 Token 消息队列里延后执行的任务
事件溯源 所有状态从一条只追加的日志算出来,日志和索引在同一个事务里落盘,写完才应答;进程被强杀,已确认的事不丢 记账式数据库
指令数据分离 Issue 标题、正文这些外部文字只当资料放进文件,不拼进提示词;派给谁、在哪个目录、什么权限只由你本机的规则决定 SQL 参数化查询
跳数熔断 Agent 交回的事件会再派给 Agent,层数累加,超过 8 层只记录不派活,同时弹一张卡片告诉你 网络包能转发的跳数上限

第三条是这份代码里最值钱的判断。市面上那些把多个 Agent 串起来干活的工具,绝大多数把外部内容直接拼进提示词,然后指望模型自觉。这个项目反过来做:别人写的话进不了指令位,最坏的结果被限制在你规则给定的范围里。它自己在文档里也写得很老实——「这挡不住所有提示注入,但把最坏的结果限制在规则给定的范围里」。

实测:核心断言全过,README 那张表过期了

先说跑通的部分。

在沙箱里跑它的内核相关测试——架构纯净度、跳数熔断、协议校验、状态投影、内核行为五个文件,40 个断言全过,零失败零跳过。其中 purity.test.ts 这个文件我个人最喜欢,它用测试守架构:检查内核代码里不能出现任何厂商名字(Claude、OpenAI、飞书、GitHub 都不许出现)、不能发起任何网络请求、不能有运行时依赖、不能有界面、时间和随机数必须从外壳进。写了这条测试,架构约束就不再是文档里的一句口号。

再跑它自带的 20 万步随机模拟。这个模拟往系统里注入六类故障——丢包、重复提交、进程重启、离线、通道失败、时钟跳变,每类各注入约 16700 次,最后完成 16510 轮任务,1436 步每秒,全程断言不崩。同一种子能复现同一个结果。

然后是仓库的体量,这些是我自己数的:

项 我数出来的 README 里写的
内核代码 12 个文件,1772 行 “约 1800 行” ✓ / 性能表里”1651 行” ✗
运行时依赖 0(dependencies 是空对象) 0 ✓
TypeScript 代码 152 个文件,20524 行 未写
测试代码 68 个测试文件,444 个用例,11475 行 未写
场景模板 7 套,每套 3-5 个文件 7 套 ✓
开源许可 MIT MIT ✓

内核 1772 行,而围着它写的测试有 11475 行——测试代码是内核的 6.5 倍。这个比例说明作者把力气花在了「怎么证明它对」而不是「怎么多写功能」上,对一个才两天大的仓库来说,这是很少见的取舍。

唯一的出入是那 121 行。README 的性能表里写「内核行数(含空行和注释)1651」,同页正文写「约 1800 行」——正文对得上,表格没跟着更新。这不影响任何结论,但它恰好暴露了一个常见的小毛病:性能表这种东西,一行数据过期之后没人会回头重跑。数字一旦写进 README,就该有人定期复核,否则它只是在借当初的可信度。

还有三件 README 里没写、或者写了但要自己核的事:

第一,npm 上那个同名的包不是它的。agent-autoloop 这个包名在 npm 上被一个叫 iasiv5 的作者占着,版本 0.0.1,解压出来只有一个 index.js,内容是一行 module.exports,README 自己写着「占位包,用于保留包名」。也就是说 npx agent-autoloop 拿到的是一个空壳。这个项目只走 install.sh 从 GitHub clone,本来也没打算上 npm,但包名被占这件事迟早要处理。

第二,Windows 还不能用,而且这是个挂了两天、13 条评论的高频追问。README 里的说法很实在:作者人在外面出差,手边没有 Windows 机器,做不了真机测试,承诺周末回家后补上。

第三,它对 Node 版本的要求比我实测的严。安装脚本硬性校验 Node 主版本 ≥ 24,我这台机器是 22.23.3,直接装是装不上的;但把仓库 clone 出来手跑核心测试,40 个断言照样全过。这说明代码本身没用到 24 才有的东西,卡在安装脚本这一层。

最后必须说清一个我没跑完的部分:它的全量测试套件我在这台机器上跑不了。第一次报进程数上限(系统回了一个「资源暂不可用」的错误),把限额提到 2048 之后仍然超时。这大概率是我这台沙箱的限制而不是项目的问题——它的持续集成检查在 Ubuntu 和 macOS 上每天跑、263 次运行里最近几次都是绿的。但「我没跑完」和「它挂了」是两件事,我只能如实写前者。

普通人能拿它赚什么

这个项目离钱的距离是改造档:不是明天拿起来就能接单,但拼一拼能卖出活。

最常见的接法是给本地小商家做「网站巡检 + 告警」。它的场景模板里已经有一份现成的:每 5 分钟检查一次网站的状态和关键内容,第一次异常交给 Agent 排查,持续异常不重复打扰,恢复后更新原卡片。你要做的是把商家域名填进去、把飞书或企业微信的群接上,然后交付一个「网站挂了会自动在群里报,还会告诉你大概哪儿出了问题」的服务。这类活单独一家店一个月 300 到 800 元,按年收更稳,一个客户一年三五千;手上攒到五六个稳定客户,就是一笔能覆盖服务器和订阅费的被动收入。

第二个方向是给小团队做「Issue 自动跟进」。模板也有:每 5 分钟查新 Issue,在本机改代码、跑测试,然后通知人来看,但不提交、不推送、不回复 Issue。这个更适合接给独立开发者或者三五个人的小团队,按月收运维支持费,一单 800 到 2000 元一个月,具体看要接几个仓库。

第三个方向偏自己用:你手上如果同时跑好几个副业项目,把它当「项目管家」,每天早报、每周代码清理这些活让它在后台跑,省下的是你自己每天翻一遍仓库的那一小时。

但边界得说在前头。这几个数字的前提是你自己会配 Node 环境和 JSON 配置——它的配置全是 rules.json,没有图形界面,出错了要看得懂日志。它还要一台常年开着的机器(家里的小主机或一台便宜的云服务器),并且 Agent 的订阅费是你自己出的,跑得越多花得越多。前几单基本靠熟人介绍,第一个月很可能只有一个客户;如果客户那边的网站本来就是外包维护的,你很难插进去。不愿意跟商家来回改配置、看到命令行就头大的,这条路走不通。

和同类比,谁该用

跟「把多个 Agent 串起来的框架」不是一类。LangGraph 那类是把 Agent 的思考流程画成图,给你的是一套写代码的固定套路;这个项目不碰 Agent 怎么想,它管的是「活从哪来、派给谁、干到哪了、什么时候该找你」。两者可以叠着用。

跟「定时任务 + 脚本」也不是一类。cron 跑脚本,出了错只有退出码;它把每一轮的来龙去脉记进日志,一条 why 命令就能查清某一轮为什么跑、结果是什么、花了多少 Token。

适合三类人。一类是手上已经有好几个项目的独立开发者,缺一个不打搅人的管家。一类是给客户做网站运维的个人或小工作室,巡检、告警、跟进这套活可以标准化交付。还有一类是团队里管持续集成与发布流水线的人:它的交付流水线从打标签开始,审代码、等检查通过、合并、等部署、核对线上版本全程自己跟,而且审查和交付配置只从主分支读,绝不在接单的机器上跑 PR 里的代码——这条设计在供应链安全上是对的。

不适合两类人。一类是不会写代码、指望装完就能用的人:它没有界面,所有配置都是 JSON。另一类是只想让 Agent 自动干活、不需要记录和追溯的人:那用一个定时脚本加一个 Agent 就够了,这个中台是给「要长期跑、跑错了得查得出来」的场景准备的。

几个该写在明处的局限。它目前只在 macOS 和 Linux 上验证过,Windows 支持是承诺不是事实。内置的四种 Webhook 模板(钉钉、企微、Slack、Discord)作者自己说只在本地模拟服务上验证过,没连过真实账号。飞书是跑通了发送、按钮回调和卡片更新的,Claude Code 和 Codex 是跑通了多轮问答和跨进程续接的——这两条作者写得很具体,可信度比那句笼统的「已支持」高得多。

判断

两天 2878 Star,这个热度里有多少是「命令行 Agent 自动化」这个方向本身的势能,有多少是这个项目自己的分量,现在还看不出来。但代码本身经得起看。

它做对的那件事很朴素:把一个容易写成一坨胶水脚本的东西,拆成了四个各自可替换的方向(事件、Agent、通道、交付),中间用一个 1772 行、零依赖、不主动发请求的内核连起来。内核小到能被人读完,这是它最大的可信度来源——你不需要相信作者的描述,你可以自己读完那 1772 行。

如果要试,建议先别急着接单。装上跑一遍 agent-autoloop try,走一遍「提问 → 退出等回复 → 拍板 → 接着干完」,确认它真的不占进程、真的能续上会话,再决定要不要往客户那边铺。它的价值不在功能多,在于你终于可以把一批「需要人守着」的活交出去。

关注 AI商业快讯,每天一篇 AI 热点深度解读。

相关阅读:

ECC 深度评测:28.5 万 Star 的 Agent 操作系统,13 道校验全绿却放行 409 条警告,98 篇跨平台副本已漂移

ECC 深度评测:28.5 万 Star 的 Agent 操作系统,13 道校验全绿却放行 409 条警告,98 篇跨平台副本已漂移

GitHub 上有个 28.5 万 Star 的仓库,叫 ECC。它给自己的定位很硬:不是又一个提示词合集,而是「AI 编码助手的操作系统」——71 个子智能体、311 个技能、97 个命令,装一次,让你的编码助手按一套工程流程干活。

仓库的自我要求也硬。它配了 13 道自动检查,提交代码时全部跑一遍。我把它拷进隔离沙箱,先跑了一遍:13 道全绿,45 秒跑完。

然后我开始动手改。按它的贡献指南,每个技能都必须写「什么时候该用我」和「别这么做」两节,我就把一个技能的「什么时候该用」整段删了;又挑了一个技能,把正文全清空,只留文件开头那几行元数据;再把这 311 篇技能里 30 篇的简介全换成一句「A skill.」。

四处改动,13 道闸门一次都没响。

—

它到底是什么

ECC 不是单个技能,更像一个中台。装进 Claude Code、Codex、Cursor 这类编码助手后,它提供四层东西:

层 数量 干什么
子智能体(agents) 71 个 分别负责规划、代码审查、构建报错修复、安全审查、各语言专项
技能(skills) 311 个 按需加载的工作流,从测试驱动开发到 Python、Go、Spring Boot 各框架规范
命令(commands) 97 个 斜杠命令入口,仓库自己标注为「过渡期兼容层」,正在往技能迁移
规则(rules) 122 条 按语言和项目类型挑选的常驻约束

先给一句公道话:这些数字全是真的。我在沙箱里数了一遍目录,71、311、97、122,与 README 写的逐项对得上——很多号称几万 Star 的项目,README 里的数字是上个季度的。ECC 的自检脚本 catalog:check 专门盯这一条,我把 README 里的 311 改成 999,它立刻亮红灯拦下。

它还做了一件同类项目很少做的事:把自己的失败写进文档。仓库里有一份「提问有效性」的实验报告——作者拿 6 个藏了坑的编程任务做对照,四个组跑了 72 次真实会话,结果四组全部满分通过,什么也没测出来。报告里直接写「这次实验没有提供任何信息」,并分析了三个原因:坑都藏在仓库里、实验时关掉了向用户提问的通道、测试用例是按闸门自己的问题分类写的因此注定通过。这份诚实,比大多数评测报告值钱。

—

实测:闸门守的是什么

先说常驻成本,这是装之前最该知道的。

311 个技能的简介会全部塞进助手的上下文,因为助手得先知道有哪些技能,才能决定加载哪个。我实测这 311 条简介合计 10 万字符,按英文四字符一个词元估算,约 2.5 万词元常驻。词元(也就是模型计费时说的那种字数单位)在场的每一轮对话都要重新计费。对一个每天开十几个短任务的人来说,这是纯开销。

如果 311 篇正文全部加载,是 73 万词元——当然设计上不会全加载,但这也说明「311 个技能」不是一个轻量的承诺。

再看内容厚度。311 篇技能里,269 篇的目录里只有一个说明文件,没有任何脚本、模板或附件。真正带可执行脚本的只有 23 篇。这不是罪状——很多技能的价值就是一份写清楚的流程文档——但它解释了为什么 2.9 MB 的正文撑起了 311 这个数字。

13 道闸门实际放了 409 条警告。 这个数字是我跑 npm run test:validators 得到的:退出码 0,同时打印 409 条提示。拆开看,160 篇技能缺「什么时候该用我」这一节,211 篇缺「别这么做」这一节,37 篇正文超过贡献指南规定的 500 行上限。

这些闸门本身写得没问题,问题在于它们的出厂设置:全部按「建议」处理,只有加 --strict-checklist 才升级为「错误」。我加上这个参数再跑一次,同样的 409 条立刻变成 409 个错误,退出码 1。也就是说,仓库自己写下的规矩,默认状态下一条都不会拦人。

于是就有了开头那组注入。五处改动,只有一处被拦:

我改的地方 闸门反应
README 里技能数 311 → 999 拦下(catalog:check 报错)
删掉一个技能的「什么时候该用我」整节 放行
把一个技能正文清空,只留 324 字节元数据 放行(三道检查全绿)
改掉技能的内部名,塞进只在 Claude 下有效的变量 放行
30 篇技能的简介全替换成「A skill.」 放行

被拦的那一处,恰好是「数字」——catalog:check 会拿 README 里的计数和实际目录数比对。它守的是数量和结构,不守内容。一份技能文档是三千字还是一句话,在它眼里没有区别。

这不是疏忽,是个工程取舍:文档写得好不好,没法用脚本判定。但取舍的边界应该写清楚——贡献指南把这四节列为「必填清单」,闸门却全部降级成建议,这中间的落差,读者容易误解成「不写也没事」。

—

更值得说的问题:副本已经漂了

ECC 支持十几种编码助手。它的做法是:仓库根目录的 skills/ 是唯一真源,其他平台的目录(给 Codex 用的 .agents/skills、给 Kiro 用的 .kiro/skills、给 Cursor 用的 .cursor/skills)打包或映射同一批文件。README 写得很明确:「根目录是真源,平台适配器打包或映射这些同样的工作流,而不是维护独立副本。」

我按字节比对了一遍:

副本目录 篇数 与主库逐字节一致
pi/core/skills 132 131
.agents/skills 46 5
.kiro/skills 43 0
.cursor/skills 12 0

pi 那一套几乎完美同步,说明同步机制是存在的、能用的。但另外三套——合计 101 篇——只有 5 篇还对得上。差异不是改几个字,是整节消失:25 篇副本里丢了整节内容,其中 8 处丢的是「不可信来源」这类段落。

举个具体的。主库的深度研究技能里有一节专门写:网页抓回来的内容全部是「攻击者可以控制的东西」,页面里出现「忽略你之前的指令」这类话,只能当引用、不能当命令执行。给 Codex 用的那份副本,这一节没有了。同一个缺失出现在市场研究技能上,给 Cursor 用的副本也一样。内容创作技能的「硬性禁令」一节,在 Cursor 副本里也消失了。

这些段落不是文风问题,是防提示注入的安全约束。三个平台的用户,拿到的是少了这道防线的版本,而没有任何检查会发现这件事——我试着把副本改回和主库一致,闸门毫无反应,因为它根本不比对副本。

还有一个更小的细节,能说明「真源」的边界在哪。日语版本里有 32 篇技能,每篇都是 11 行的占位符,正文写着「翻译进行中」,末尾指向一个本地路径 D:/tmp/ECC/...——那是作者自己电脑上的盘符。仓库有一条检查专门防止这种本地绝对路径泄漏,但它只认 Mac 和 Windows 用户目录两种格式,D:/tmp 这种盘符根部路径不在它的识别范围里。这 32 篇占位符,随包进了 npm 分发包。

—

同类里的位置

这条赛道上,ECC 走的是「大而全」那一头。之前评测过的 mattpocock/skills(27.4 万 Star)是 27 个技能、688 KB,走的是少而精;addyosmani/agent-skills(9.9 万 Star)是 25 个工程技能;i-have-adhd 是单点解决输出样式。ECC 反过来:把你能想到的语言、框架、流程全铺一遍,311 个技能铺满,用「总有一个你用得上」换取覆盖面。

代价就在上面那几组数字里。铺得越宽,单篇被校验的深度就越浅;支持的平台越多,副本漂移的面积就越大。MIT 协议、单月 5.2 万次 npm 下载、1778 次提交的主作者加上 500 多次的第二贡献者——这是一个真在高速迭代的项目,而高速迭代和「每份副本都跟主库一致」天然冲突。

适合谁:刚给编码助手上手一套工程流程的人。它的规划、测试驱动、审查三段式确实成体系,71 个子智能体里挑几个常用的,比自己从零攒提示词快得多。规模是真的,这点不用怀疑。

不适合谁:只想装一个轻量技能的人。2.5 万词元的常驻索引,对偶尔用一次的人是负担。以及,如果你用的是 Codex、Kiro 或 Cursor——你拿到的那份副本,可能比主库少了点什么,而没有任何东西会提醒你。

—

我的判断

值得看,但要按「一套规模很大、质量参差的工程模板」来理解它,而不是「一个自带质量保证的体系」。

它最值钱的地方恰恰不是那 13 道闸门,而是那份把自己实验做失败、然后老实写下来的报告。一个愿意公开「这次什么也没测出来」的团队,比一个宣称「13 道闸门全绿」的团队可信得多——后者只能说明结构和数量没坏。

真要用得踏实,建议补三件事:一是把 --strict-checklist 打开,让那 409 条警告真的变成错误,否则你写的技能可以是一句空话;二是如果你用的是非 Claude 平台,以主库的 skills/ 为准,别信副本;三是装之前先算一笔账,2.5 万词元的常驻索引,值不值。

28 万 Star 买的是覆盖面。而覆盖面这件事,从来不承诺深度。

关注 AI商业快讯,每天一篇 AI 热点深度解读。

相关阅读:

context-mode 深度评测:3.1 万 Star 的上下文插件省 98% 是真的,19 条泄洪命令实测 16 条放行

context-mode 深度评测:3.1 万 Star 的上下文插件省 98% 是真的,19 条泄洪命令实测 16 条放行

你大概撞过这堵墙:用 AI 编码助手干活,聊上半小时它开始「失忆」——刚改过的文件忘了,刚才的任务忘了,你上一条消息也忘了。很多人以为是模型不够聪明,其实更常见的原因是上下文被工具输出撑爆了。一次日志查询、一次跑测试、一个网页抓回来,几十 KB 的原始数据就这么灌进对话窗口。

有个 3.1 万 Star 的开源插件专门堵这个口子,名叫 context-mode(可以理解成「上下文模式」)。它的说法很硬:把大块数据关起门来处理,只让结论回到对话里,能省下 98% 的上下文。我把它拷进隔离沙箱翻了一遍:这个数字是真的,我手里几份样本甚至更省。但同样在这次实测里,它承诺的「自动拦截」只覆盖了 19 条常见命令中的 2 条。

它是什么

context-mode 是装给 AI 编码助手用的插件,Claude Code、Cursor、Codex 这类工具都能装。它主要想解决两件事:

  • 别让原始数据进上下文:给它一段代码,它在单独的子进程里跑,只把打印出来的结果交回来。
  • 别让对话失忆:把每次文件改动、命令、决定记进本地数据库,压缩对话后还能按关键词搜回来。

它还有一路「检索式」用法:先把文档、日志切块存进本地全文索引,需要时按问题搜出相关片段,而不是整篇塞进去。

真正值得看的是它拦什么、放什么:

它想管的事 它的做法
抓网页(curl、wget、WebFetch) 改写成一句提示,让你改用沙箱里的抓取工具
内联发网络请求 同样改写成提示
gradle、maven、sbt 构建 改写,让你把构建放进沙箱跑
读大文件、全文检索、跑测试、看日志 只在你第一次触发时提醒一句

实测:省下的数字站得住,拦下的命令站不住

先说省。它仓库里放了 21 组真实样本——一份 85.5 KB 的埋点表格、一份 45.1 KB 的 nginx 访问日志、一份 58.9 KB 的 GitHub issues 导出。我用它自带的执行器跑了一遍:

样本 原始 进上下文 节省
埋点表格(500 行) 85.5 KB 79 字节 99.9%
nginx 访问日志(500 条) 45.1 KB 92 字节 99.8%
GitHub issues 导出 58.9 KB 17 字节 99.9%
git 提交历史 11.6 KB 11 字节 99.9%

这个方向没得挑。它给你一个子进程,你写几行代码把统计做完,窗口里只留一行结论。我另外试了「检索式」那一路:四份文档共 32.7 KB,三个问题各取回三条片段,进上下文 5.59 KB,省 82.9%,和它文档里给这类用法标的 82% 基本吻合。问文档里根本没有的东西(比如「怎么部署到 k8s」),它会返回零条,不硬凑。

省是真省。问题出在它承诺的另一半:它说装上钩子就会「自动拦截」,之后不用你操心。

我把它的路由逻辑单独抽出来,喂了 19 条最典型的命令,结果是这样:

我喂的命令 它的反应
curl -s https://… 直接把网页打到屏幕 拦下,改写
curl -s -o 文件 https://… 存成文件 放行
tail -n 2000 日志(第一次) 追加一次提示
同一条 tail(同会话第二次起) 放行
grep -rn ERROR src/ 放行
find . -name '*.ts' 放行
ls -R src/ 放行
git log -p -n 200 放行
gh pr view 123 --json body,comments 放行
kubectl logs --tail=5000 放行
docker logs 容器名 放行
cat 一个大文件 放行
npm test / npm run build 放行

19 条里,改写拦下 2 条,只提醒一次 1 条,其余 16 条原样通过。

这不是我挑得刁。它的设计就是这样:只在「结构上一定短小」的命令上主动放行(比如 pwd、git status),其余走一句「建议用沙箱」的提醒,而且每个会话只提醒一次。也就是说,第一次 tail 之后,助手再查多少次日志,它都不再吭声。真正能改变行为的只剩提示词,而提示词管不住它读不读日志。

这里还有一层措辞值得说清。它宣传里的「沙箱」只是另起一个子进程,并没有把文件和网络隔开。我在里面读了系统用户文件、读了家目录下的文件、往临时目录写了东西、还抓了一次公网,全部成功。这本身不算毛病——它要的是「数据不进口上下文」,不是「防住恶意代码」。但读者很容易把「沙箱」理解成后者,文档里「完全隔离」的说法撑不起这个想象。

它自己的文档,九处改动一处没响

一个项目可不可信,最后看它有没有本事守住自己的话。我把它的仓库当成被测对象,做了两组注入。

第一组改代码:把工具名前缀改错、把抓网页的拦截整段拆掉、把函数返回类型改错、让版本号只改一半。四道闸门——类型检查、打包产物断言、插件入口检查、单元测试——四发四中,全红。

第二组改文档,一次只动一处,跑同一套闸门:

我改的地方 闸门反应
首页主标语「98%」改成「99.9%」 全绿
基准报告的总节省 96% 改成 99.9% 全绿
把基准报告里 20 行实测数据整段删掉 全绿
测试总数 125 改成 1250 全绿
安装量徽章 69.97 万改成 990 万 全绿
技能说明里「拿不准就用它」反写成「拿不准就用原始命令」 全绿
平台表里把 Claude Code 从「有钩子、省 98%」改成「无钩子、省 0%」 全绿
隐私段「不上传任何数据」改成「默认采集遥测」 全绿
许可证从 ELv2 改成 MIT(和仓库里的许可文件矛盾) 全绿

九处,零拦截。仓库里没有一条测试或脚本拿基准报告和首页当数据源——它守的是代码能编译、打包没坏、版本号一致,唯独不守「我们宣称自己做到了什么」。

这组数字本身也有松的地方。基准报告开头写「21 个场景」,两张表加起来只有 20 行。总账写「376 KB 变成 16.5 KB,省 96%」,按它自己的分项算出来是 95.6%,四舍五入到 96 需要一点善意。有一行「网络请求」标 13% 节省,按原始字节算是 14.8%。另有两行标着 100%,实际分别还剩 155 字节和 222 字节。都是小账,但一份用来佐证「98%」的报告,小账该更紧一点。

顺带说一句首页。顶部有一排企业徽章——微软、谷歌、Meta、亚马逊等 18 个名字,底下写着「以下团队在用」。那 18 个链接全部指向空锚点,点不动。这不是造假证据,但也不是能点开的证据。

同类里的位置

省上下文这条道上,它站的位置很特别。之前评测过的 caveman(10.8 万 Star)走的是「让 AI 少说废话」:用提示词约束输出,省下的主要是模型自己的啰嗦,官方简介写省 65%、自家文档只认 8.5%。context-mode 不碰说话方式,它搬走的是工具塞进来的数据——这是另一半,也是更硬的一半。

再往前看,Graphify(12.5 万 Star)用代码知识图谱省调用费(也就是模型按字数计的额度),官方宣称 71.5 倍、我复算 38.3 倍;agentmemory(2.9 万 Star)做记忆,官方 95.2% 的「答案找齐」率换成实际评测只剩 81.8%。这条道上的共同点是:省的量级大多能复现,宣称的精度普遍要打折。context-mode 在这一点上算体面——它的 98% 我复出来在 99% 以上,方向没错。

代价也有。装上钩子后,每个会话开头会注入一段约 6800 字符的行为规则(英文约 1700 个词元,也就是模型计费时说的那一种计量单位)。对一次长会话不算什么,对一堆短任务就是纯开销。

适合谁:每天用 AI 编码助手处理大量日志、测试输出、网页抓取的人。子进程和本地检索确实能让窗口干净很多,省下的量我能复现。

不适合谁:指望它「装上就自动管住助手」的人。它真正硬拦的只有抓网页和三种构建工具;其余靠一句每个会话只出现一次的提醒。想让助手老实走沙箱,还得在项目规则里自己写死——这恰恰是它想替你省掉的那件事。

我的判断

值得装,但别按宣传理解它。把它当成「一个更好用的数据处理器加一块本地检索库」,你会很满意:一份 85 KB 的表格进去,79 字节的结论出来,这一手确实漂亮。把它当成「上下文守门员」,你会失望——门装了,大部分时候只是挂在那儿。

真要用得踏实,建议补两件事:一是把「读日志、跑测试、看 diff 必须走沙箱」写进你自己的项目规则,别指望钩子;二是装完后拿它给的那份基准报告,对着手头的真实任务复一遍,看省下的比例还在不在同一量级。

省 98% 是它最好的一张牌,而这张牌恰恰是它自己最没闸门守的一张。

关注 AI商业快讯,每天一篇 AI 热点深度解读。

相关阅读:

OpenMontage 深度评测:6.89 万 Star 的开源视频流水线,139 个技能 12 条流水线,1357 项测试我全跑了

OpenMontage 深度评测:6.89 万 Star 的开源视频流水线,139 个技能 12 条流水线,1357 项测试我全跑了

用 AI 做视频的人,多半都被同一件事坑过:你把“帮我剪个 60 秒的片子”丢给编码助手,它回你一段像模像样的方案,最后端出来的却是一沓图片配背景音乐——也就是常说的“幻灯片”,不是视频。GitHub 上这个叫 OpenMontage 的项目,号称是“第一个开源的、代理化(agentic,也就是让 AI 自己当导演)的视频制作系统”,已经攒到 6.89 万 Star。我把它拷进隔离沙箱翻了个遍,也把它自带的测试全套跑了一遍,撞见一个别的评测少见的组合:测试绿得挺踏实,它自己却连一个正式版本都没发过。

它不是剪辑软件,是给 AI 写的一整套拍片流程

先把它是什么说清楚。OpenMontage 自己没有“开始渲染”按钮,也没有一个 Python 程序在后台指挥。它的原话是:你的 AI 编码助手就是导演——项目里没有 orchestrator(也就是总调度器)这层代码,真正干活的是一堆写给人看的说明书。

一句话定位:给 AI 助手装一整套拍片的作业规范,从选题一路排到成片,中间每一步都要求它留下证据、并且接受复核。

它的骨架分三层,理解这三层,整个项目就清楚了:

  • 第一层是工具层:仓库里 127 个工具类,说的是“有哪些手艺可用”——生成视频的、配音的、加字幕的、调色的、拆镜头的都在这里。
  • 第二层是流程层:12 条流水线(用 YAML 写的清单),说的是“这次按哪套流程走”。比如动画解说、口播头像、纪录片混剪、长视频批量切短片。
  • 第三层是知识层:139 份技能说明(用 Markdown 写的),说的是“每一步具体怎么做才算专业”。

这三层里,真正装东西的是第三层。README 里那句“700+ 技能与制作知识文件”,我数了一遍是对得上的:skills/ 目录下 157 个 Markdown,加上 .agents/skills/ 下的 578 个,一共 735。所以它不是一个“装了就出片”的工具,更像一本摊开的行业手册,加一套逼 AI 照着手册干活的规矩。

我把它的测试跑了,绿得比预期扎实

评一个“号称能拍片”的项目,最尴尬的地方是:我没法用它拍一部片来证明它行——它要调的是 Veo、Kling 这些按次收费的生成模型,跑一遍就是真金白银。所以我换了两件能核的事:它的代码规模,和它自带的测试。

先看规模。去掉版本历史,整个仓库 2171 个文件,其中 Python 代码 560 个文件、14.6 万行;配套的 TypeScript 有 75 个文件、1.2 万行;Markdown 文档 1099 份。这个体量不像一个周末项目。

然后是测试。它自带的测试分两块,我都跑了:

测的是什么 结果
契约与核心测试(contracts / lib / styles / 回放 / 网络守卫) 1357 条通过,9 条跳过,0 失败,47 秒
工具层测试(每个生成工具的行为) 690 条
网络守卫专项(专门验证“测试不许联网”那道闸门) 7 条:6 条通过,1 条按设计跳过

跑之前我特意确认了一件事:这些测试不允许联网。仓库的测试配置里专门写了一段“安全网”——在系统最底层的网络接口上设卡,任何测试只要试图连一个真实的服务商,就直接报错。它的原话很实在:服务商是按次收费的,测试一旦连上真实接口,就是在每次跑 CI 的时候悄悄花钱。这不是一句口号,我实测确认它真的拦得住:专门去撞它这个闸门的 7 条测试,6 条通过、1 条按设计跳过。

有个细节值得单独说。跑这套测试需要 ffmpeg(一个开源的音视频处理工具),我一开始图省事,把 ffprobe 软链接指到了 ffmpeg 上。结果有 4 条集成脚本报错、1 条契约测试失败——错误信息全是“读数失败”“音频时长不对”。我没急着把它记成“项目有 5 个 bug”,而是去读了源码:那几处报错,恰好都发生在需要 ffprobe 输出 JSON 的地方,也就是我自己那个假链接必然撑不住的地方。换成两个真工具再跑一遍,那 5 处全部转绿。

把这一步写进来,是因为它比“全绿”更说明问题:这份仓库的测试对环境是敏感的,报错时给的信息也是可定位的(它直接说出是哪一步的读数不对),不是那种“某处炸了、你自己猜”的测试。同时这也是我这篇的唯一一处失真——如果我不查明就下笔,就会误报它 5 个不存在的缺陷。

一个 6.89 万 Star 的项目,为什么没发过正式版

它的“靠谱”还有一条更硬的证据。这个项目在“干活之前先设卡”这件事上,做得比一般开源项目狠。举个例子:它不信任 AI 交出来的初稿。渲染之前,它会先算一遍“这段东西会不会看起来像幻灯片”,从六个维度打分——镜头重复、用画面凑数、运动太弱、镜头没有意图、光靠字幕撑场、以及“吹了电影感但撑不起来”。这套打分本身有 800 多行代码和配套测试,不是摆设。

但就是这么个东西,有两个数字并排放在一起,反差大到扎眼:

  • GitHub 上 0 个正式版本。我核过:既没有打过一个版本标签,也没有发过一次 release(发布说明);代码里写的版本号还是 0.1.0。
  • 它已经 6.89 万 Star、8853 个 fork,创建于 2026 年 3 月 29 日,到今天是第 202 天。

一个 6.89 万 Star 级别的项目,连一个 v1.0 都没打过,这在小圈子里不算罕见,但对一个要“替你做完整条产线”的工具来说,是个必须写清楚的前提:你拿到的是主干的滚动快照,不是一个被冻结、被验证过的版本。 升级不会沿着版本号走,而是跟着主干天天变。这对喜欢尝鲜的人是优点,对要把它塞进稳定流程的人是风险。

维护节奏上还有一处,我如实写下来:最近 100 次提交里,有 66 次出自同一个人(作者本人用了两个提交身份,Calesthio 与 calesthio 合起来算);按提交时间分月看,8 月 70 次、9 月只有 1 次、10 月 29 次。9 月那个空档不是“凉了”——10 月又回到高频,说明是个人开发者的节奏波动,而不是项目停摆。但个人集中度高这件事,意味着它的开发速度高度依赖一个人的时间。

和市面上的做法比,它站在哪

把它和几种常见做法摆一起,位置就清楚了:

做法 谁是导演 流程从哪来 对“像幻灯片”这件事的态度
一个提示词出一个片段 模型自己 没有流程 不判断
往任务流里拖节点 你(人工拼) 你自己设计 不判断
OpenMontage AI 助手 仓库里 12 条 YAML 清单 + 139 份说明 渲染前自动打分拦截

差别集中在最后一列。多数“AI 做视频”的出片质量,取决于你提示词写得巧不巧;OpenMontage 的做法是把“像不像视频”变成一个能算、能拦的指标,写进流水线里。这个思路比它的功能列表更值得学。

适合谁用:手上已经有能调工具的编码助手(Claude Code、Cursor、Copilot 这类都行)、愿意按它的分层去读说明书、并且接受“它每个真实出片步骤都在花钱”的人。也适合只想学一套“把创作流程拆成阶段并加质检”的方法论、不打算真跑的人。

不适合谁用:指望装上一个工具、对着它说一句话就拿到成片的人——它的出片能力取决于你给它配了哪些模型的密钥;没配就是一套跑得动的空壳。另外像它这样没发过正式版本的仓库,不要把它当稳定的生产依赖,先在侧线项目里试用。

我的判断

OpenMontage 配得上它的 Star 数,但配的方式和多数人以为的不一样。它的价值不在“又一个 AI 视频工具”,而在两头:一头是那 735 份技能文件——这是把“拍片”这件事拆到可执行颗粒度(也就是细到每一步都能照着做)的一次公开整理,读它比跑它更有收获;另一头是它把“先设卡再动手”落成了代码——不允许测试联网、渲染前拦幻灯片、每一步留决策记录。

它的代价也很清楚:没有正式版本、没有打包好的发行版、出片要你自己接模型密钥、主力开发集中在一人身上。所以我的结论是放进“值得精读、谨慎依赖”这一档——把它当一个设计样本去读,比把它当一个软件去用,收获大得多。

关注 AI商业快讯,每天一篇 AI 热点深度解读。

相关阅读:

mattpocock/skills 深度评测:27.4 万 Star 的工程师技能库,27 个技能只有 688 KB,6 条自定规矩我全跑了一遍

mattpocock/skills 深度评测:27.4 万 Star 的工程师技能库,27 个技能只有 688 KB,6 条自定规矩我全跑了一遍

用过 Claude Code、Codex 这类 AI 编程助手的人,大概都经历过同一个循环:听说某个「技能包」很神,装上;过两天又看到另一个,再装上。装到第二十个的时候你会发现问题来了——助手不但没变聪明,反而开始答非所问,因为它每次开口之前,都得先读完你塞给它的那一大堆说明书。

今天要评测的 mattpocock/skills 走的是完全相反的路线。它挂着 27.4 万个 Star(GitHub 上的收藏数,相当于「赞」),是这一轮 AI 技能热潮里体量最大的仓库之一;但你把它的技能全部下载下来会看到,所有技能文件加起来只有 259 KB——比一张手机照片还小。

它是谁,凭什么这么大

作者 Matt Pocock 是挺有名的 TypeScript 讲师,仓库第一句话写得很直白:「让我每天干真活的技能,不是 vibe coding(指不做设计、完全靠感觉让 AI 写)。」

它反对的东西也写在明面上。GSD、BMAD、Spec Kit 这一批「流程框架」,思路是替你接管整套开发流程;作者的说法是,接管的同时也拿走了你的控制权,一旦流程本身出 bug,你很难改回来。

所以它的设计只有三条:技能要小、要能改、要能互相拼。

这话几乎所有技能库都会说,区别在执行。我把它 clone(把仓库整个拷到本地)到沙箱里数了一遍,实际情况是这样:

项目 数字 说明
Star 274,405 2026-10-02 实测
Fork 23,051 别人复制走自己改的次数
仓库体积 688 KB 不含版本历史
技能目录 259 KB 全部技能文件
技能文件 37 个 其中 27 个随插件发布
未发布技能 10 个 6 个标「开发中」、4 个标「杂项」
协议 MIT 可商用、可改

关键设计:技能只按「谁来喊」分类

这是整个仓库最值得抄的一点。它不按功能分(写代码 / 调试 / 写文档),只按一个问题分:这个技能由谁触发?

  • 用户调用:只有你亲手敲 /grill-me 才启动,职责是「指挥」。
  • 模型调用:你也能敲,同时助手觉得合适时会自己拿来用,职责是「装规矩」。

这两类不许乱串:一个用户调用的技能,可以去调模型调用的技能,但绝不允许去调另一个用户调用的技能。27 个技能里,16 个归用户调用,11 个归模型调用。

为什么要这么较真?因为 AI 助手最常见的翻车方式是「自说自话地开工」。用户调用的技能负责在开工前把话问清楚,模型调用的技能负责在开工时守住规矩——两类混在一起,就会出现助手自己指挥自己。

实测:它自己定的规矩,我一条条跑了一遍

它把仓库规范写进了项目说明文件,一共六条硬规矩。我把每一条都变成了可执行的检查脚本,在沙箱里跑:

它定的规矩 我的检查方式 结果
正式技能必须全部随插件发布 对比技能目录与插件清单 27 对 27,通过
未发布技能不得混进插件 检查「开发中/杂项」是否泄漏 通过
每个技能桶要有说明文件 逐个目录查找 5 个目录齐全,通过
正式技能要有文档页 逐个技能查找对应页面 27 个全有,通过
未发布技能不给文档页 反向检查文档目录 通过
全文禁用破折号 全文扫描该符号 手写内容 0 处,通过

六条全过。 这在同类仓库里不算常见——大多数技能库的说明文件和目录结构早就对不上了。

唯一一个「不完全干净」的地方,正好说明了它的严谨程度:那个破折号规矩的最后一条例外,是自动生成的更新日志。我扫出来的 68 处破折号全部落在这个自动生成的文件里,手写的技能正文、文档、说明文件里一处都没有。规矩是人定的,例外也是人写的,而它把例外限定在了机器产出的那一个文件。

最核心的东西只有一个:盘问引擎

整个仓库的心脏叫 grilling,直译是「盘问」。

它的做法是把你要做的一个计划拆成一棵决策树:每个决定下面,挂着依赖它的决定。然后是关键一步——它一次只问「现在就能问」的那一层,每个问题都编号,而且必须附上助手自己推荐的答案。你答完这一轮,树的边界往外推一圈,能问的问题就变多了,再问下一轮。

有一点很实用:找事实是助手的活,不是你的活。某个问题需要先去翻代码或查文件,它就派个子任务去查,而不是回头问你——因为那些问题「等查完再问」,剩下的照问不误。

我数了一下,27 个正式技能里,有 7 个都在用这个盘问引擎:做规格的、分派工单的、做代码评审的、做架构梳理的,全部指向同一个原语,没有一个重新发明提问方法。

也正因如此,最早的两个技能薄到离谱。grill-me 的正文只有一句话——「调用 grilling 技能」;grill-with-docs 的正文也只有一句话——「调用 grilling 和 domain-modeling 两个技能」。它们不是功能,是指针。 真正的方法只有一份,改一次,七处同时生效。

拉两个参照物

第一个是同类里体量最大的:affaan-m/ECC,同样 27 万 Star 上下,同样是「给工程师的技能库」,但走的是完全相反的路——什么都给你。68 个助手、293 个技能、94 个命令,仓库体积 80 MB。mattpocock 这个仓库是 688 KB。换算成「每 KB 换到多少 Star」,两者差了大约 121 倍。

mattpocock/skills affaan-m/ECC
Star 274,405 270,953
仓库体积 688 KB 80 MB
技能数 27 个(发布) 293 个
思路 把判断权还给你 把所有能力塞给你

不是说 ECC 不好——它想做的是一整套「Agent 操作系统」,那是另一种野心,需要的体量也确实不一样。但两个仓库摆在一起,恰好是当下 AI 技能生态的两条分岔路。

第二个参照物更有意思,是它自己承认的一个洞。它的 tdd(测试驱动开发)技能文档里明写着:这个技能决定「在哪些接缝上写测试」,但没有任何东西决定「这个改动到底值不值得写测试」。作者把它记成了 issue #746,到现在还开着。一个 27 万 Star 的仓库,把自己管不了的那块标出来不遮不掩,这比任何功能列表都更能说明它的风格。

我的判断

如果你已经装了十来个技能、助手开始变迟钝,这个仓库值得看的是它的结构思路,而不是某一条具体规则。

  • 适合谁:天天写代码、对「流程被框架接管」有戒心的工程师。它默认你懂测试驱动开发、懂领域建模,不负责给你补基础。
  • 不适合谁:想要「一键装好就变强」的人。它装的当天几乎没变化,好处是你用久了会形成自己的改法。
  • 一个提醒:它上次发版是 8 月 6 日,到现在 57 天,中间积压了 75 个提交、13 个待发布的小改动,版本号还停在 1.2.3。功能一直在动,插件包更新滞后。另外按它自己的说法,插件和手动拷贝两种装法只能二选一,都装你会得到每个技能两份。

同类工程技能库可以对照着看:addyosmani/agent-skills 深度评测(25 个技能、自带评测全绿的另一个路线),以及 Spec Kit 深度评测(同一批「流程框架」里长成插件市场的那一个)。

关注 AI商业快讯,每天一篇 AI 热点深度解读。

caveman 深度评测:10.8 万 Star 的省 token 技能,简介还写 65%,自家文档只认 8.5%

caveman 深度评测:10.8 万 Star 的省 token 技能,简介还写 65%,自家文档只认 8.5%

用 Claude Code 的人大多盯着屏幕右下角那个额度条一路往下掉,然后就习惯性地把指令写得更短一点(prompt,也就是你给 AI 的那句要求)。有个开源技能说不用——让 AI 反过来说话短点就行,最多能砍 65% 的计费单位(token,模型读写文字的最小单位,也是账单单位)。它叫 caveman,中文圈一般叫「洞穴人」,从 Hacker News 头条一路火到 10.8 万 Star。

我把它的仓库整个搬进隔离沙箱,逐项复现:它自己提交在仓库里的评测快照、它自带的基准测试(benchmark,也就是一套标准考题)脚本、404 个自动化测试,以及那份写着 65% 的仓库简介。结论先放这:它省的是 AI 的「嘴」,不是「耳朵」,而 65% 这个数字只对聊天式问答成立——真实编码任务上,官方第三方实测是 8.5%。

它是什么,怎么做到的

caveman 不是一个模型,是一层「说话纪律」。装完之后 AI 还是那个 AI,只是回答从求职信变成了电报稿。它规定得很细:

  • 删冠词、删客套、删「当然可以」「这是个好问题」这类开场白,删「just / really / basically」这类纯填充词
  • 代码、命令、文件路径、报错原文一字不改。它专门写了一句话:只有代码周围的散文会被压缩
  • 安全警告和「你确定要删库吗」这类不可逆确认,自动切回完整句子,做完再切回去

最反直觉的一条是它禁止为了「像原始人」而加词。别人模仿原始人会说 when it not,它说这比 when not 多花一个 token,却表达同一件事,属于净亏——压缩是唯一的风格。它的规则文件里甚至把「自己造 cfg / impl / req 这类缩写」列为禁止项,理由是分词器会把它们切成和完整单词一样多的片段,零节省,读者还得多解码一次。这一条是我在这个仓库里读到最有工程味的地方:它不装傻,它算过账。

等级分成日常三档(轻、标准、极简)和文言三档,默认是标准档。文言档在中文上按「汉字数」而非 token 数宣传削减,规则里自己标注了这个区别。

除了「管说」的技能本身,仓库里还有两层「管读」的东西:一个跑在本机的代理程序,把日志、测试输出、结构化数据、网页抓取结果在你发给模型之前先压一遍(原文落在本地数据库,随时可以取回);以及一个可以塞进你自己代码里的中间件。这两层是商业许可,不是开源(下面第 6 条细说)。

实测:我把它的评测快照跑了一遍,也把它的测试跑了一遍

⚠️ 先说清楚边界:真跑一轮「带技能 vs 不带技能」的模型对比,需要 Claude Code 命令行加商业接口额度,评测机不具备。所以下面凡是模型生成的分数,都是仓库自己提交的数据;我复现的是这些数据的算法、结论口径和一致性。

第一步复现快照。仓库里存着一次完整评测:10 道开发问题、每道题跑三种条件(不加系统提示 / 只加一句「Answer concisely.」/ 那句加上技能全文),模型是 claude-opus-4-6,生成时间 2026-04-08。我按它自带的评测脚本口径重算(它用 tiktoken 这套开源分词器数 token):

十道题 只加「简短回答」 加上 caveman 削减
解释数据库连接池 339 41 省 87.9%
为什么会 CORS 报错 328 138 省 57.9%
哈希表怎么处理冲突 167 103 省 38.3%
怎么修 Node 内存泄漏 227 226 省 0.4%
十题合计 2,045 1,026 中位省 50%、均值省 46%

三道题的表现就是这个技能的完整画像:问题越像聊天、越要让 AI 讲道理,省得越多;问题越像「给我代码」,省得越少,甚至一分不省。十道题里最差的那道只省了 0.4%(227 token 变 226),而离散度是 24.7 个百分点——这意味着「省 50%」这个中位数容易让人误以为稳定,其实它是一堆差异极大的结果平均出来的。

第二步,找矛盾。同一个仓库里,它的首页文档引用了两家第三方的测量:Adobe 研究院的论文测出输出侧压缩把实际成本降到 1/1.4 到 1/2.4(最好情况 1/3);JetBrains 用 86 个真实编码任务做配对 A/B,测出省 8.5% 的输出 token、约 10% 的成本,而且这是「强制开启」的上限值(自动触发只会更少),质量上没有可检测的退化(符号检验 p = 0.82,82 组配对里 8 题更好、10 题更差、64 题打平)。

10 道聊天题省 50%,86 个真实编码任务省 8.5%。差距不是谁在撒谎,而是分母换了:在编码 agent(也就是能自己多步干活的 AI 程序)里,token 大头是代码和工具调用,而 caveman 明确不动这两样。它自己在首页文档里也把两句话并排写出来,这点是诚实的。

第三步,也就是这篇文章真正的发现:65% 这个数字,仓库早就把它从后端撤了,只剩 GitHub 简介还挂着。可复现的证据链有三条:

  1. 它自己的《诚实数字》文档里,输出削减那一栏写的是「未公布(Not published)」,理由是没有提交过经过复核的原始结果。
  1. 首页本该放基准表格的位置,是一段 HTML 注释占位,写着「这里尚无经过复核的接口基准结果」。
  1. 提供「已省多少」的后端统计早就不报数字了,代码注释里写明历史上的固定比例字段已不再使用,状态栏也不再显示节省百分比。
  1. 但 GitHub 仓库简介今天仍然是原话:「cuts 65% of tokens」。而这不是没发现——仓库在 2026-07-02 的提交里自己写了一句:「GitHub 仓库简介还写着『cuts 65%』,应该改成『约省 50-65% 输出 token(实测)』。本地提交改不了它。」

时间线更能说明问题:7 月 2 日先把宣传从「约 75%」改成「约 50-65%」并补上方法;7 月 3 日又发了一个提交,把「所有产品面」统一拉平成一句话 65%;直到 9 月 8 日,后端口径才撤回成「只报告日志里真实显示的内容」。一次改小、一次改回大、一次撤数字——三次里改动最小的那个位置,恰好是唯一改不动的地方。

顺手还挖到两个快照本身的问题,都属于「数字对不上现在的仓库」。

一是这份快照是 2026-04-08 一次跑完的单轮结果(每道题每种条件只跑一次、默认温度、没有显著性检验),而它测的那个技能文件在之后又改过 22 次,最近一次是 9 月 8 日——也就是说这份「50%」代表的不是今天的 caveman。

二是快照里参与竞速的四个技能中,中文版和西语版两个已在加入的次日删除,「压缩」那一路也已改名;而现在技能目录下躺着 20 个技能文件。这段对比数字连参赛者名单都对不上今天。

第四步,跑测试。仓库指定的测试命令是 node --test tests/installer/.test.mjs tests/hooks/.test.mjs。我在沙箱里跑完 404 个:381 通过、17 跳过、6 失败。

其中 3 个我看过失败原因,属于我们沙箱侧的限制:一个是容器里 /tmp 与根目录不同设备、跨设备硬链接被拒,两个是同时跑多个测试用例时 Node 起线程池撞上沙箱的进程数上限。

另外 3 个都跟 OpenClaw 的自动检测有关,我尝试把 OpenClaw 从系统查找路径里隔离后仍然复现——它们的失败信息是「没找到 OpenClaw 工作区」。

不下定论说这是仓库缺陷(真实用户的机器环境千差万别),但可以确定的是:这 6 个红不是「装了 OpenClaw 的机器才有」那么简单。

第五步,量体量。最近 30 天有 100 次提交、分布在 11 天里,持续集成流水线累计跑过 516 次、最近 5 次全绿;140 个待处理 issue,npm 上的命令行工具近 30 天下载 83,484 次。一句话:这不是蹭热度的仓库,维护强度是实打实的。

和同类比,你该装吗

「省 token」这个赛道其实分三层,装之前先分清你要省哪一层。

压读的一层:flowctx 走 OpenClaw 上下文引擎,实测砍 56% 输入 token 且解题率没掉;context-mode(也就是「上下文模式」)用 MCP 沙箱(MCP,也就是模型上下文协议、给 AI 接外部工具的通用接口)把 315KB 的工具输出压成 5.4KB。

压说的一层就是 caveman,以及管输出风格的 i-have-adhd。再往上是 ECC 这类整体工程纪律。这三篇我们之前都单独写过,文末可以顺着看。

caveman 的位置很特别:它是唯一同时做「说」和「读」的,而「说」那一半是 MIT 这种最宽松的开源许可、免费永久,「读」那一半要装本地代理。

第 6 条得单独说,因为它影响「能不能用在公司项目里」:这个仓库是混装许可。

技能目录、命令行工具、开发套件都是 MIT;但真正做压缩的几块——压缩引擎主体、本机代理、改写器、网页驱动、命令行输出压缩——是被称为 BSL-1.1 的商业许可,不是开源促进会认可的那种开源。

它允许你自用、自托管、内部生产使用,但不允许把它作为托管或嵌入式服务提供给第三方,那需要单独商业授权;变更日是 2030-06-21,届时转成 Apache 2.0。GitHub 接口给出的许可字段是「无法识别」,正是因为这个混装。

你想核实的 去哪看(都在仓库里) 我跑出来的
评测快照与算法 自带的评测目录,含结果快照与评测脚本 十题合计 2,045 → 1,026 个计费单位,中位省 50%
「未公布」的原话 文档目录里的《诚实数字》页 输出削减一栏确为「未公布」
测试命令与结果 项目配置里声明的测试命令 404 个用例:381 通过 / 17 跳过 / 6 失败
沙箱侧两个失败的成因 一个是跨设备硬链接被系统拒绝,一个是线程池起不来 均与沙箱限制一致,非项目缺陷
许可混装 根目录的许可文件与逐目录许可说明 逐目录列明,引擎相关目录为商业许可

最后是我实测下来觉得该提醒的三件事。

一,规则文件本身每次调用都要作为输入发一遍,当前那份技能正文约 1,650 token(按同一个分词器算),短问答里它可能比需要的还贵——仓库自己的 issue 里就有用户测出净亏。

二,按请求或按积分计费的工具(比如 GitHub Copilot 那类按「次」算的),回答短了还是同一次请求,一分钱省不下来。

三,首页公开过一条用户自测:某个 Cursor 的 A/B 里带 caveman 反而花了 430 万 token、对不带的 100 万,耗时还翻倍;仓库承认这条无法复现。

所以正确读法是——规则重复注入、以及缓存(也就是把算过的结果存起来、下次直接用)计费这两件事,能盖过输出端的节省,请在自己的任务上量一遍。

判断

装,但要装着正确的期待。它是一层写作纪律,不是省钱魔法:你的活越像聊天、越按 token 付费、回答里散文越多,它越值;你的活越像「给我代码」、越按次数付费,它就越接近零。8.5% 是真实编码任务上的上限,不是地板;50% 只在十道聊天题里成立。项目真正值得学的地方,反倒是它那份把「我什么时候会亏」写进文档的自觉——以及它到现在还没改掉的那句 65% 简介,提醒所有人:仓库里的数字会随文档更新一起改,产品页面上的那句话不会。

关注 AI商业快讯,每天一篇 AI 热点深度解读。

相关阅读:

ayghri/i-have-adhd 深度评测:5.1 万 Star 的输出样式技能,14 项评测 10 胜 2 平 2 负、自带发布闸门却判 FAIL,我复现了全部 70 个测试

ayghri/i-have-adhd 深度评测:5.1 万 Star 的输出样式技能,14 项评测 10 胜 2 平 2 负、自带发布闸门却判 FAIL,我复现了全部 70 个测试

如果你用 AI 编程,每天至少要被这样一段话浪费掉一次注意力:「这是个好问题!让我想想。你的认证流程有几个环节,中间件、令牌校验、Cookie 处理……另外你的依赖版本好像也旧了,顺便说一句……希望对你有帮助,有需要随时问我。」 你问的是「怎么修」,它答了三百字,你读完还不知道第一行该敲什么。

有一个开源技能就是专门治这个毛病的。它叫 i-have-adhd,5 个月前出现在 GitHub 上,现在 5.1 万 Star。它的做法和你见过的「请简洁一点」完全不同:它写死了 10 条输出纪律——第一行就给可执行动作、多步任务必须编号、每轮都要复述进度、列表最多 5 条、禁掉「好问题」这类开场白和「希望对你有帮助」这类收尾。

它最有价值的地方不是这 10 条规则,而是它自带一整套评测。项目作者写了一台机器,拿 14 道题让同一个模型分别在「不带技能」和「带技能」两种情况下作答,再让评分模型盲评五个维度。结果是五个维度全线上涨,加权总分从 4.045 涨到 4.473。

但真正有意思的是接下来这件事:它自己的发布闸门,把这份成绩单判成了 FAIL。 项目里白纸黑字写着「发布门:未通过」。原因不在分数,在下文那张表。

它是什么,怎么做到的

先说清它到底是个什么东西。i-have-adhd 是一份给 AI 看的写作规范,一份纯文本文件,把 10 条输出纪律写进去。你把它装进 Claude Code、Codex、Cursor、Gemini CLI 这些编码助手(也就是能自己读文件、跑命令的 AI 编程工具),它就会在每次回答时被读一遍,管住输出的形状。

我把它 clone 下来逐层拆了一遍。整个项目 245 次提交、48 位贡献者,从 5 月 13 日建仓到现在 4 个多月,热度没有掉(最近 30 天还有 59 次提交,一周前刚合过代码)。规则本身只有 142 行、1187 个英文词——按比例换算大约 1700 个 token(也就是模型读写文字的最小计量单位,同时也是计费单位),这就是它每次回答要额外付的开销。

10 条规则里,前 3 条是核心,其余 7 条都在给这 3 条堵漏:

规则 一句话要求 它想治的病
1 动作先行 第一行就是能跑的指令、路径或代码 开场先铺垫背景
2 多步编号 一步一个动作,不许「然后」套「然后」 步骤糊成一段
3 末尾给一个下一步 指明 2 分钟内能做完的那一件事 结尾用「随时问我」收场
7 让完成可见 「登录能用了,去跑这个命令」 把成果埋在复述里
9 列表封顶 5 条 排序后只显示 5 条,其余留在内部 一口气甩 20 条清单
10 无开场白、无复述、无客套 删掉「好问题」「希望对你有帮助」 AI 味最重的两头

有个设计我认为值得单独说:规则 9 特意写了「只在展示层收敛,不许丢信息」——它只压缩你看到的清单,不压缩它搜过的结果。这一条是被用户骂出来的,我在下面「翻车点」里细说。

实测:我复现了全部 70 个测试,也复现了它自己的判据

它自带的评测有三层,我从最便宜的一层往上跑,全部在隔离沙箱里完成(一次性的容器式沙箱,跑完即删,不碰本机环境)。

第一层:70 个自动化测试,我逐个复现。项目里有 7 个测试文件,覆盖会话钩子、评分脚本、评测调度、安装文档路径、多平台打包。我按它官方 CI 用的同一套命令跑:

测试文件 用例数 我的结果
会话钩子(always_on_hooks) 7 全过
盲评脚本(judge) 17 全过
评测调度(run_evals) 25 全过
场景评测(run_scenario_eval) 7 全过
安装文档(install_docs) 2 全过
打包(omp_package) 2 全过
OpenCode 插件 10 全过
合计 70 70 过 0 挂

这里有个插曲值得记:第一次跑,有 2 个用例挂了,报错是「找不到 awk」。我一开始以为是仓库的 bug,追下去发现是我的沙箱问题——那两个用例调用一个文本处理小工具,而它在系统里是通过一条软链接间接指向真身的,我的沙箱只读挂载了主程序目录、没挂那个软链接目录,于是「工具在,但找不到」。我把真身直接接进去再跑,7 个用例全过。

也就是说:这 2 个失败是我的环境造成的假阳性,不是项目缺陷。我把它写出来,是因为「评测翻车往往是评测者自己的问题」这件事,比 70 个全绿更常见。

第二层:评测清单能跑通。项目的评测调度脚本有两个命令:一个校验 14 道题的清单格式,一个打印「要跑哪些组合」。前者输出「用例有效」;后者按 3 次重复 × 14 道题 × 3 种条件(不带技能 / 带技能)算出 126 次作答的排期。这两步我都跑通了,说明评测脚手架本身是好的。

第三层:评分环节我没有跑通,原因必须说清楚。项目的评分流程要用命令行调用 Claude Code 或 Codex(也就是 Anthropic 和 OpenAI 的编码助手命令行),由它们实际生成作答、再盲评打分。

我这台评测机没有装这两个工具、也没有对应的商业 API 额度,所以我无法自己生成那 126 次作答,也就无法亲手复核那五组分数。下面的数字来自项目公开的成绩单,不是我跑出来的——这一点我在文末的口径说明里再强调一次。

它自己那份成绩单是这样的(同一模型、14 道题 × 3 次重复,共 84 份作答,盲评时被打乱成 A / B / C 三组、评委不知道哪份带技能)。五个维度各自满分 5 分,带技能后全部上涨:

  • 正确性(权重 35%):4.333 → 4.524,涨 0.190
  • 自主性(25%):3.762 → 4.167,涨 0.405
  • 可执行性(20%):3.905 → 4.619,涨 0.714
  • 安全性(10%):4.643 → 4.667,涨 0.024
  • 简洁度(10%):3.429 → 4.571,涨 1.143
  • 加权总分:4.045 → 4.473,涨 0.427

最值得看的是「正确性」和「安全性」也在涨——这两项权重最高,而且向风格类改动要收益是最难的:一般「让 AI 说短点」的做法,最容易拿简洁度换掉正确性,表现成「答得更短,但也更不准」。它在这里没有掉,说明压缩的是废话,不是内容。

再细一层,14 道题里它 10 道赢、2 道平、2 道输。涨幅最大的两道是「多步任务报进度」和「报错怎么说」——加权分分别涨了 2.53 和 2.40,这两道题几乎贡献了全部总分增量。而「写代码」和「写长文」两道题是零变化:题目本身就规定了输出格式,技能没有乱插手。这个「该让的时候让了」的结果,比总分上涨更能说明规则设计得克制。

翻车点:它的发布闸门判自己 FAIL,这事不能算小事

现在说开头那个反差。项目里有一份发布门规则,写着 4 条放行条件,其中第一条是「不得存在任何阻断问题」。它自己跑出来的结果是:不带技能 7 处阻断问题,带技能 3 处——砍掉了一半以上,但发布门依然 FAIL。

因为那条规则写的是「零」,而不是「比之前少」。所以一个把缺陷数量砍掉 57% 的版本,和原版一样被拦下。这不是分数问题,是判据的写法问题,项目自己也在文档里点破了这一点:按这条规则的字面意思,只要题目集里还剩下任何一处阻断问题,任何版本都永远不可能通过,无论它改善了多少。

这个设计我认为是本项目最耐看的地方,也是最该被别家抄的地方:它的成绩单和它的发布门是两台独立的机器,而且发布门比成绩单严。 绝大多数开源项目的「评测」是自我介绍,它的评测是准入门槛,并且真的拦住了自己。

那 3 处没消掉的阻断问题里,有 2 处集中在一道题上。项目的解释是那道题没有任何一次运行能通过:题目要求 AI「直接改仓库,别把修改交回给用户」,但评测时所有命令行都被设成了「不加载任何工具」,于是没有一次作答真的能动手。这是题目本身的缺陷,不是技能的问题。

把这道题排除后,计数变成「不带技能 5 处、带技能 1 处」,发布门按同一条规则判,依然 FAIL。

真正值得警惕的是剩下那 1 处,它指向技能本身的一个副作用。题目给的是「三个检查跑完:代码风格检查通过、单元测试通过、集成测试失败」这种证据不全的场景。带技能的作答给出了一份很笃定的判断——「缺认证请求头就是确定原因」——而评分者认为这句话在没有任何诊断证据的情况下把猜测写成了定论。

机制说得通,而且技能作者自己把它挂成了公开 issue:第 8 条规则要求「报错要说清原因和修法,不许用『哎呀』『好像有问题』这种口气」。原文照字面执行,就等于逼模型必须给出一个原因;而证据不足时,它就会去猜一个。作者在 issue 里也承认这个推论样本不够(只有 3 次重复,其中 2 次明显下行、1 次持平),但方向和机制都对得上,所以标为「值得加更多重复次数去验证的那一个」。

从工程角度看,这几乎是一道送分题的陷阱:「说清原因」和「不许无依据断言」在证据不足时会打架。我自己写技术文档时也踩过——把「可能是 X」改写成「就是 X」能让句子更干脆,代价是撒谎。

另外三处来自真实用户的抱怨,也一并列出来:

  1. 规则 9 被理解成了硬性的 5 条上限。一条 15 人讨论的 issue 里,用户反馈它不只是把长清单分成「现在做 / 以后做」,而是直接砍到 5 条,把后面的信息丢了。作者的回应是正在把规则改成不写具体数字的写法。

这解释了为什么现在的规则正文里反复强调「只在展示层收敛、不许丢信息」——那是事后补上的补丁。

  1. 在某个模型上严重退化。有用户报告在 Grok 4.6 上开启后,AI 变得「只会描述步骤、不肯动手」,多步推理也明显变差;同配置在 4.5 上正常,关掉技能立刻恢复。这是模型相关的水土不服,不是普适缺陷,但说明输出规范类技能并非对所有模型都安全。
  1. 加载方式有兼容性坑。有 issue 指出技能文件头部的元数据写法(嵌入了一层嵌套对象)会让严格按规范解析的客户端直接跳过这个技能,报告者贴出的报错显示某个客户端解析失败后就不加载了。

局限也要说清:它的评测只有 3 次重复、且评委模型和作答模型是同一家。项目自己在文档里承认,单题标准差最高到 0.95,单题涨幅低于约 0.5 就不该当作信号,只有汇总分比较可信;同时评委和选手同源会带来偏好偏差,理想的对照组应该换一家模型来评。换句话说:+0.427 这个总变化可以参考,那张逐题表里的小数不要当真。

判断:谁该装,谁别装

装它的理由:如果你的痛点是「AI 答得没错,但读了半天不知道该干嘛」,这就是最对症的一类工具,而且它是纯文本改写、没有任何运行时依赖——没有需要单独安装的程序、也没有常驻后台的进程,最坏情况下它只是不生效。参数上也很清楚:每次回答多花约 1700 个 token(整个规则文件的长度换算而来),换来加权分 +0.427、劣势项「简洁度」+1.143(均为项目自测,非我实测)。

别装的情况:如果你的任务是让它写长文档、做方案评审、要它展开讲原理,它的 10 条规则里至少 3 条会和你打架。

好在技能文件里专门留了「什么时候可以破例」一节,明确写了「用户要求解释时,就完整解释」——这道逃生门是设计的一部分,不是补丁。

判断的分界线是:你更常被「答案埋在废话里」烦,还是更常被「回答太短不够用」烦。前者装它,后者绕道。

还有一点值得单列:它值不值得学,跟你用不用它无关。这套东西真正可复用的不是那 10 条规则(规则本身多数人一看就懂),而是「给自己配一台独立的、会拦住自己的验收机」这个习惯。同一批开源技能里,绝大多数把「我们做了评测」当勋章挂着,成绩单漂亮就够了;这个项目多走了一步——让成绩单和发布门互相独立,并且让发布门判自己 FAIL。它那条「零阻断才能发布」的规则写得过于绝对,项目自己也承认这是个「该在发版前特意拍板、而不是发版时才发现」的性质问题——但肯把这条规则和它判自己失败的结论一起公开,比一个漂亮的百分比更有价值。

项目地址:ayghri/i-have-adhd(MIT 协议)。技能全文 142 行,直接复制 skills/i-have-adhd/SKILL.md 到你的技能目录即可,不必装整个仓库。

口径与利益声明:本文作者与该项目及作者无任何商业关系,非付费用户,未接受任何形式的赞助或评审授权。文中「70 个测试全绿」「沙箱复现」为作者在隔离沙箱中对 ayghri/i-have-adhd 主分支实测结果;五维分数、14 道题的胜负分布、「7 处砍到 3 处」等数字来自项目公开的成绩单(2026-08-02 记录),非作者实测,原因是本项目评测需要商业模型命令行与对应额度,评测机不具备。仓库元数据(5.1 万 Star / 2,965 fork / 245 次提交 / 48 位贡献者 / MIT)抓取于 2026-09-27。该项目无版本号发布(无 tag、无 release),文中所述为 2026-09-19 的主分支状态。

相关阅读:

关注 AI商业快讯,每天一篇 AI 热点深度解读。