DeerFlow 深度评测:8.3 万 Star 的字节 Agent,23 个自带技能 229 条告警,2 个过不了自家审查

DeerFlow 深度评测:8.3 万 Star 的字节 Agent,23 个自带技能 229 条告警,2 个过不了自家审查

做 AI 智能体的人,几乎都在同一个地方栽过跟头:会话一长,模型就开始忘事。为了让它记住,大家的第一反应是加一个向量库。这个方案听起来天经地义,直到有人在真实数据上把它跑了一遍。

字节跳动的 DeerFlow 就是这么干的,而且它做了一件开源项目很少做的事——把一次花钱跑出来的负结论原样放进了仓库。在那份实验里,最朴素的摘要方案答对 22.5%,换成关键词回查能答对 90%,而再叠一层向量检索反而掉到 85%。

先说它到底是什么

一句话:DeerFlow 是一个跑在 LangGraph 之上的超级智能体外壳(harness,也就是把大模型、工具、记忆和沙箱串起来干活的那一层)。

真正干活的不是它自己,是一个主智能体——它负责把任务拆开,分给子智能体;需要记忆就去查记忆,需要跑代码就开沙箱(一个关起来跑、碰不到宿主环境的独立进程),需要特定能力就加载一个「技能」。

它的体量是这样的:

部分 装什么 实测规模
后端主体 网关、接口、运行时 5.2 万行 Python
智能体外壳 技能、子智能体、沙箱、记忆 16.3 万行 Python
后端测试 离线跑的单测 43.7 万行,974 个测试文件
前端 网页界面 9.3 万行 TypeScript
Python 合计 含以上各项 66.5 万行

而这些数字都不是我想写它的理由。它最特别的地方是:它不靠模型来管技能质量。

它给技能设了一道机器闸门——一个纯粹按规则跑的审查器,把技能包当成不可信的数据读一遍,逐条出告警,全程不调用任何模型。这件事在同类项目里很少见:绝大多数「技能」仓库的质量靠作者自觉,或者靠一次人肉 review。

我把这道闸门跑了一遍

先交代环境。一切都跑在评测沙箱里,被测对象落在沙箱工作目录,宿主目录被临时文件系统盖住,全程没碰生产机上的凭证。闸门的入口是一条命令行,按技能目录读,输出机器可读的检查结果。

第一遍:23 个官方技能全量扫描。

严重度 条数
阻断项(blocker) 0
错误(error) 6
告警(warning) 229
提示(info) 3

229 条告警压得很不均匀:体量最大的「技能创建器」一个技能占了 59 条,图表可视化 28 条,PPT 生成 18 条。23 个技能里,只有 3 个一条告警都没有,其中一个就是审查器自己。

按规则名拆开看,整轮扫描出的 238 条结论其实只出自 7 类规则:

规则 条数 严重度 在说什么
resource.missing 155 告警 正文引用的文件在包里不存在
resource.unreferenced 46 告警 包里有文件,但没被任何地方引用
resource.escaping-link 24 告警 链接写法会跳出包的范围
network-cleartext-http 4 告警 内容里出现非本机的明文 HTTP 地址
network-local-http 3 提示 引用了本机地址
python-subprocess 4 错误 技能里的脚本调用了外部命令
secret-env-assignment 2 错误 类密钥的赋值里填的是真值

前三类加起来 225 条,占了 229 条告警的 98%,全是同一件事:技能正文或正文引用的文件里,指向了一个不存在或没被用上的资源。这不算大事,但它是「文档没跟上功能改动」的典型形态。真正值得看的是那 6 条错误。

第二遍:按它自己 CI 的判定规则重新跑一次。

它的持续集成里有一条专门的技能审查流水线。规则写在脚本里:命中阻断项或错误项就算失败,除非该条目在豁免清单里。豁免清单是一份带到期日的文件,每条都要写明文件指纹和豁免理由——我数了一下,整份清单里只有 2 条,都属于同一个技能,到期日都是 2027 年 2 月 28 日。

技能 错误 其中已豁免 判定
技能创建器 4 条 2 条(豁免到 2027-02-28) 失败
数据分析 2 条 0 条 失败
审查器自己 0 条 —— 通过

两份没被豁免的错误,原因一样:技能里的脚本调用了外部命令。中间那两条豁免也是同一个原因,作者在豁免理由里写清了「命令是固定的、参数是列表形式、不走 shell」。技能创建器另外两条错误则是密钥格式的赋值写进了正文和参考文件。

也就是说,按它自己写下的规则,这 23 个技能里有 2 个过不了自己的闸门。而它们恰好是「造技能」和「分析数据」——最容易被用户直接点开的那两个。

第三遍:这道闸门到底抓得住什么。

评价一个审查器,不能只看它漏什么,也要看它抓什么。我照它的规则造了 5 个技能包,每个只埋一个典型风险,看它报不报:

我埋进去的东西 它的反应
安装脚本里用管道把远程脚本喂给 shell 报了,错误项 shell-curl-pipe-shell
同上,但中间插了提权命令和参数绕一下 也报了,规则没被绕过去
配置文件里写死一个 sk-live- 开头的密钥 报了,错误项 secret-env-assignment
环境变量文件里写 REVIEWER_SECRET= 加真值 报了,同一条规则
脚本里读 /etc/passwd 报了两条:敏感路径 + 调用外部命令

5 个中了 5 个,包括加了提权命令的那种明显绕法。这道闸门比我预期的靠谱——它的规则是逐条照着真实绕过手法配了测试的,比如管道后面接 sudo 再跟参数再跟 shell 这种写法,专门有一组用例盯着。

一个我自己撞出来的问题。

闸门有个读取限额(默认是 4096 个文件、单文件 64 MB、总量 512 MB),超了就只读一部分。我把总量限额压到 10 字节再跑,出现两件连锁的事:

状态 包指纹
A 包完整读取 sha256:50cc6e88…
B 包完整读取 sha256:abd89407…
A 包被截断 sha256:e3b0c442…
B 包被截断 sha256:e3b0c442…

两个内容完全不同的技能包,在截断之后拿到了同一个指纹。而这个 e3b0c442… 恰好就是「空内容」的哈希值。同时它还会报一条「包根目录没有 SKILL.md」的阻断项——文件其实好好躺在那里,只是没被读到。

这个设计本身能理解:没读到就没法算。但指纹在报告里的作用是标识「我审的是哪一个包」,它还被写进审查结论里当锚点。截断状态下这层含义就没了,而两台机器上读到不同内容却拿到同一个指纹,也不是不可能。

最有价值的证据,是它自己那份失败报告

仓库里有一份任务接续实验的完整报告,结论是负的。

背景是这样的:智能体干长任务时,对话历史会被反复压缩,压完就丢细节。这份实验拿公开的记忆问答数据集取 42 道题,比较四种方案在「压完还能不能答对」上的差别:

方案 答对 正确率
只有滚动摘要 + 近期消息 9 / 40 22.5%
摘要再加一份工作笔记 11 / 40 27.5%
摘要再加关键词回查 36 / 40 90.0%
再加一层向量混合回查 34 / 40 85.0%

从摘要换到关键词回查,正确率涨了 67.5 个百分点;在这之上再叠一层向量检索,反而掉了 5 个百分点。那 42 道题里有 2 道因为接口断连没跑完,所以分母是 40。

它自己在报告里把话说得很克制:这 5 个百分点是「1 例新增正确、3 例新增错误」,配对检验的 95% 置信区间横跨零点,不能据此断言向量总体是负收益——但同样拿不出正收益的证据。所以结论是「不支持默认引入向量检索」,回查能力应该做成可插拔的可选件。

报告里还有一句很老实的话:这轮是「强制多次压缩」的压力设置,不能把摘要那 22.5% 当成生产环境的默认水平。

谁该用它,谁不该

放到选型地图上看,它的位置很清楚。

如果你只是想让聊天机器人记住几句话,它太重了——要跑四个服务加一个数据库,浏览器得开在 2026 端口,还建议配一个反向代理。这一点上站内之前评过的轻量方案更合适,比如那份零依赖的记忆系统。

如果你在做的是多步骤、要跑代码、要跨会话接续的智能体,它的分层是少见的完整:23 个自带技能覆盖研究、数据分析、文档、幻灯片、图像与音视频;每个技能都要过前面那道闸门;主编排(也就是决定先派谁干、后派谁干的那一层)和子智能体、沙箱、记忆是分开的模块,不是一坨提示词。

它也不是没有钝的地方。技能包被截断读取时那个指纹问题,说明这道闸门自己的边界还没收紧;而 229 条告警里 155 条都是「引用了不存在的文件」,是文档在功能改动后没跟上——对一个技能库来说,这类失修比代码 bug 更常见,也更容易被忽略。

适合:手里已经有模型额度、要一套能自己长技能的智能体基座、并且真会去改它代码的团队。不适合:想开箱即用、不打算读源码的个人用户——66.5 万行 Python 不是一下午能读完的东西,光它的变更日志就有 9100 行,而正式版本标签只打了 3 个。

我的判断

值得放进观察清单。它最值得学的不是功能清单,是两件事。

第一件,把技能质量交给确定性规则,而不是交给模型的心情。这道闸门不看模型打分,只按固定规则出结论,命中就算失败——代价是它也会把自己人拦下来,这就是那 2 个技能判失败的原因。第二件,把一次花钱跑出来的失败结论原样发出来。前者在开源圈里算少见,后者要罕见得多。

至于向量检索,我的建议是别急着加。先按它那份报告的顺序试:先把原始记录留住、把关键词回查做起来,等有自家数据证明它稳定带来净收益,再考虑要不要叠一层。

关注 AI商业快讯,每天一篇 AI 热点深度解读。

相关阅读:Hindsight 深度评测:4.6 万 Star 的 Agent 记忆系统,2538 条行为快照我重跑零处不一致,5 条日期误判却被冻在测试里 · Paperclip 深度评测:9.7 万 Star 的 AI 员工管理系统,4775 个提交里 2127 个署名 AI 员工

Hindsight 深度评测:4.6 万 Star 的 Agent 记忆系统,2538 条行为快照我重跑零处不一致,5 条日期误判却被冻在测试里

Hindsight 深度评测:4.6 万 Star 的 Agent 记忆系统,2538 条行为快照我重跑零处不一致,5 条日期误判却被冻在测试里

用 AI 编程助手写代码的人,几乎都吃过同一类闷亏:上周明明让它查过一遍、结论都写在对话里了,这周开个新会话,它又把同一个坑重新踩一次。你骂它失忆,其实它没坏——它的「记忆」就是这次对话,会话一关就清零。

Hindsight 想解决的就是这件事,而且它卖的不是「记住对话」,是「越用越懂」。它已经拿到 4.6 万 Star,官方还挂出一句话:据其测试,它是目前被测过的记忆系统里最准的一个。

比星数更让我想认真写它的是另一件事:这个项目给自己的测试下了极重的功夫。它有一份 2538 条的标准答案表,专门锁住「日期理解」这一项行为——换个人改代码,答案变一条就算错。我把这份表原样跑了一遍,一条没差。

先说它到底是什么

一句话:Hindsight 是一个给 AI 智能体(也就是能自己动手干活的 AI 程序)用的长期记忆系统。它跟「把聊天记录扔进向量数据库」的做法不是一个路子。

它自己给记忆分了四类,也是它宣称更准的原因:

记忆类型 装什么 举个例
世界事实 关于外部世界的知识 「那个灶台是烫的」
经历事实 智能体自己的经历 「我碰了那个灶台,真的很疼」
观察 从多条记忆里归纳出的信念 「碰灶台会疼,别碰」
心智模型 长期沉淀成的稳定认识 「这台设备的高温区在哪」

它的核心动作只有三个:retain(存进去)、recall(取出来)、reflect(让它自己想一遍、形成新结论)。差别在于存的时候不是原样丢进去,而是让大模型先抽出事实、时间、实体和关系,再归一化成结构化的东西;取的时候也不是单靠相似度,而是四条路同时走——语义相似、关键词精确匹配、实体关系图、时间范围过滤——再把四路结果合并排序。

规模是这样的:

部分 作用 实测规模
服务端核心 记忆引擎、接口、任务调度 16.8 万行 Python
客户端 四套语言的 SDK 6.4 万行 Python(仅 Python 那套)
命令行工具 终端里直接操作 1.7 万行 Rust
网页控制台 管理界面 15.6 万行 TypeScript
现成集成 把记忆接进各种现成工具 55 个集成目录,官方文档站列了 62 个
数据库迁移 表结构历史 111 个迁移脚本

把仓库里所有 Python 代码(含测试、各语言客户端和集成)加在一起是 56.6 万行,上面只列了主要几块。

代码量最大的一个文件是记忆引擎主文件,单个文件 23213 行——这一点见仁见智,我在下面「不完美的地方」里单独说。

它是怎么做到「越用越懂」的

三个设计值得单独拎出来,因为它们决定了它和「一个向量库 + 一段提示词」的区别。

存进去的东西会被反复整理,而不是越堆越多

新事实进来后,后台不是不管了,而是把相关的记忆慢慢归并成「观察」——一条带证据的信念。关键在于:新证据来了不是覆盖旧的,而是修正它,还会保留原话和证据条数。这意味着一条被推翻的旧结论是有痕迹的,而不是无声消失。

这一点为什么重要?因为智能体记错事实,通常不是「没查到」,而是「查到了一条早就过期的事实但不知道它过期了」。

时间理解是手写的,而且被 2538 条答案锁死

「上周三的报错」这句话,机器要理解成一段时间范围,才能去查。多数方案直接交给一个现成的时间解析库,出错就出错。Hindsight 的做法是手写规则,其中中文规则占比最大——单个中文时间规则文件 1845 行。

我把它拷进沙箱单独跑了一遍,用固定的「今天 = 2026 年 8 月 12 日」当参照,中文的 57 条时间说法里 49 条给出了明确区间,结果都对:

输入 它解析出的区间 对不对
昨天 8 月 11 日 到 8 月 11 日 对
上周 8 月 3 日 到 8 月 9 日 对
上个月 7 月 1 日 到 7 月 31 日 对
第一季度 1 月 1 日 到 3 月 31 日 对
最近三天 8 月 9 日 到 8 月 12 日 对
这周末 8 月 15 日 到 8 月 16 日 对(当周还没到)
上海的天气 不给区间 对(没当成时间)

这套规则不是只写在文档里的想法,它有一份锁死行为的答案表:整个语料库 423 条查询,每条配 6 个不同参照日期,一共 2538 个结果全部快照存盘,改代码后任何一条答案变了就测试失败。我把这份表原样重算了一遍,2538 条结果与快照零处不一致,跑完 24 秒。

最后一行是最容易翻车的地方:「上海」含「上」,「东京」含「东」,瞎认时间会污染检索。它专门存了一份「不该被当成时间」的陷阱句清单,包含中文地名和英文里的假时间词(比如连接这个单词里含「ect」、问题这个词含「hat」,都是时区缩写)。这份清单共 36 条,我逐条跑了一遍,31 条干净,5 条仍然被误判成具体日期。

误判集中在英文的「may」(五月/may 情态动词)上——四句话里带着「may」,全被判成 5 月 12 日那一天:

输入(英文) 它解析出的区间 应该
may 5 月 12 日 不是时间,是情态动词
the may report 5 月 12 日 「那份可能有的报告」或「五月报告」存疑,不该直接定死
may I ask a question 5 月 12 日 「我可以问个问题吗」
so what do we do now 8 月 12 日(当天) 「那我们现在怎么办」

这不只是数字好看不好看的问题:它在取记忆的时候,解析出的区间会被直接当成时间过滤器用,把检索范围收窄到那一天。也就是说,一句「我们可以问个问题吗」可能让这次检索只翻当天的记忆,把真正相关但更早的事实筛掉——而且它不会报错,只会安静地少召回几条(也就是漏掉本该找回来的记忆)。

「跑绿 2538 条」和「有 5 条误判」听着矛盾,其实是同一件事的两面,也是它自己写清楚的:测试文件里直说这 2538 条记录的是旧实现的答案,包括那些可能本来就错的答案;优化不许改动其中任何一条,真要修正确性得另开一个可复核的改动。所以那 5 条不是漏网,是被刻意冻结住的既知缺陷——它们有测试覆盖,只是测试断言的是「行为不变」而不是「行为正确」。这个取舍本身是成熟的工程做法,但它也说明:这份表是防回归的护栏,不是正确性的证明。

存进去之前,先把密钥擦掉

给智能体加记忆有个现实风险:它会记住你贴进去的一切,包括你误粘的 API 密钥。Hindsight 的做法是在存之前过一道正则闸门,命中就替换成 [REDACTED:类型],或者直接拦下不存。

它官方文档说这套规则有 45 条。我把源码拉出来数了一遍:实际声明了 46 条,能编译生效的也是 46 条,但文档的规则清单表格里只列了 44 条。对不上。

差的那两条我逐条查了来源:

规则 状态 来源
它自己家的密钥格式 hsk_ 代码有、表格漏列 2026-09-14 那次提交补的(补之前是 45 条),提交信息说「给所有厂商都写了规则,唯独漏了自己家的密钥」
AWS 密钥的第二种写法 代码有、表格漏列 靠上下文才能认出来,测试文件里把它单独归为非边界类,所以没进那张表

也就是说,「45」这个数不是笔误,是改代码时忘了同步文档:补自家密钥那天,代码从 45 变成 46,文档三处写「45」的地方一个字没动。这类漂移不致命,但对一个把「准确」当卖点的项目来说,是值得记一笔的小账。

规则本身是真在干活。我按它测试文件里的样例造了 34 个假密钥,覆盖代码仓库令牌、云厂商密钥、支付平台密钥、消息服务令牌、数据库连接串、私钥文件六类,34 个全部被擦掉,一个不漏;反过来,普通句子里的时间戳「2026 03 18」、端口列表、版本号「1.2.3.4」都没被误伤——信用卡规则只认「数字成组 + 校验位通过」的写法,不是见数字就擦。中文紧贴着密钥写(密钥ghp_…结束)也能擦掉,这一点它有专门的提交修过。

不完美的地方

仓库不收外部贡献。它的贡献指南第一段写着:不接受团队外的 pull request,外部提交的 PR 直接关闭不审。作者的解释很坦诚——这样能让团队自己决定做什么、少审半成品、修 bug 时能把改动一起发出去。你可以说这是纪律,也可以说是把社区挡在门外,但它是明说的,不是暗着来的。

核心文件已经不短了。记忆引擎主文件单个 23213 行、1138 KB,接口层 10597 行。这不是那种「一个人一下午能读完」的代码库。它靠 622 个测试文件兜住机制层面的正确性,又用单独的「黑盒测试」(不给内部细节、只从外部调用)和「质量评测」(用真模型打分)兜住组合层面的正确性——后者自己承认单次跑红不代表回归,得重跑,因为同一个请求两次可能给出不同答案。

它宣传的 4.6 万 Star 和别人的评分,我没能独立复核。 它给出的最好成绩是 LongMemEval 基准 94.6%,并说这个成绩被弗吉尼亚理工的研究者和《华盛顿邮报》复现过。我没法验证这句话——仓库里没有第三方复现报告,只有它自己的一句话。它自己也写了「其他厂商的分数都是自报的」,这话反过来说也成立:它的分数在仓库里同样只有自报。基准成绩这件事,建议自己装一遍用自家数据跑,这也是它官方文档自己给的建议。

谁该用它,谁不该

适合:真的在做有状态智能体的人——一个助手要跨会话记住用户偏好、一个客服智能体要记住三个月前的工单、一个编码助手要记住这个项目的约定。它的四条检索路子不是营销词,是真在跑,对这种「需要精确回忆某条旧事实」的场景有实际意义。

不适合:只是想让聊天机器人更懂你的个人用户——太重了。它需要一整套服务端、一个数据库,要么自己部署,要么用它的云服务。如果你只是想让 AI 记住几句话,本号之前评过的 Mnemosyne OS 那种零依赖的小东西更合适——那篇里我也实测过,它的卖点就是轻。

它是 2025 年 10 月建仓的,到现在 3421 个提交,最近 90 天就有 1378 个,节奏很快,不是那种建完就没人管的仓库。但它也是商业公司的开源核心:Memory Defense 这类安全能力在开源版只给基础规则,企业版给的是 200 条以上的规则库——这条边界看它控制台里的文案就知道。

我的判断:值得放进观察清单,尤其是你真在做跨会话记忆的智能体。它最值得学的地方不完全是功能,而是那份 2538 条的答案表和「改代码不许改答案」的纪律——大部分项目连自己的输出都没锁住,就急着改架构了。至于它「最准」这句宣传,听完就当听完,自己跑一遍再信。

关注 AI商业快讯,每天一篇 AI 热点深度解读。

相关阅读:Mnemosyne OS 深度评测:31 星的零依赖 AI 记忆系统,自曝 11 个缺陷,我实测又挖出 7 个 · Paperclip 深度评测:4775 个提交里 2127 个署名 AI 员工

Paperclip 深度评测:9.7 万 Star 的 AI 员工管理系统,4775 个提交里 2127 个署名 AI 员工,6 道自检闸门我跑出一道漏报

Paperclip 深度评测:9.7 万 Star 的 AI 员工管理系统,4775 个提交里 2127 个署名 AI 员工,6 道自检闸门我跑出一道漏报

同时开着五个 AI 编程终端的人,最后都会变成同一个角色:接线员。谁的活干完了、谁的活卡住了、这个月又烧了多少钱,全靠你在窗口之间来回切。Paperclip 想做的不是再给你一个终端,而是把「指挥一群 AI 干活」变成一件有组织、有预算、有审批的事。它已经有 9.7 万 Star。

比星数更让我想认真写它的,是另一件事:这个项目规定,AI 员工提交代码时必须在提交信息里署上自己的名字。我把仓库拉下来数了一遍——4775 个提交里,2127 个署着这个名字,占 44.5%。

先说它到底是什么

一句话:Paperclip 不是又一个新的 AI 助手,而是一套用来管理一批 AI 助手的软件。它自己的说法更直白——「如果 OpenClaw 是一个员工,Paperclip 就是公司」。OpenClaw(一个能在你电脑上常驻、随时接消息干活的 AI 助手程序)负责干活,Paperclip 负责给这些干活的 AI 排职位、划预算、定汇报关系。

它解决的问题很具体。你手上可能同时开着二十个 AI 窗口,各有各的活,但它们之间没有组织关系:不知道公司今年要做什么,不知道自己这一步卡在谁那里,也不知道这个月一共花了多少钱。Paperclip 给每个 AI 配上职位、上级、预算和审批线,让你从一块看板上统管。

它自己把这套东西拆成四块:

支柱 给谁用 管什么
AI 任务管理 所有人,每天 任务、审批闸门、可审阅的执行记录,从改动、截图、测试里验收成果
AI 组织架构 带团队的人 人和 AI 混编的组织图、权限、职责边界、密钥范围
AI 员工培训 想提升产能的人 技能工作室、共享技能、评测与保存的测试运行、技能版本回滚
AI 操作系统 IT 与平台 跨供应商运行、沙箱隔离、外部接口接入、单点登录、成本管控

技术形态上,它是一个 Node.js 服务端加一个 React 网页控制台,代码按功能拆成多个包。规模是这样的:

部分 作用 实测规模
服务端与各功能包 接口、调度与业务逻辑 6,037 个 TypeScript 文件,约 228 万行(含测试)
数据库层 表结构与历史迁移 293 个 SQL 迁移脚本
适配器 把不同品牌的 AI 接进来 12 个适配器目录,覆盖 10 个品牌
自带技能 发给 AI 员工读的工作说明 7 个技能,其中主技能单个文件 64,910 字节
测试 保住上面这些不出错 2,191 个测试文件,两万两千多个测试用例

它是怎么把一群 AI 编成一家公司的

三个机制值得单独说,因为它们是这套东西和「一堆散装脚本」的分界线。

心跳:AI 员工平时是睡着的

AI 员工不是一个一直开着的进程。平时它是睡着的,Paperclip 有事才把它唤醒,给它一小段执行时间,干完就让它退出。这个设计对使用者意味着两件事:一是不会有一堆进程常驻在后台空烧钱;二是每次醒来的背景信息由服务端提供,不依赖它自己记不记得上次干了什么。

原子认领:一个任务只能被一个执行者拿走

同一个任务,同一时刻只能被一个执行者领走,靠一把执行锁保证。这条看着不起眼,但它是「二十个 AI 同时开工」不出乱子的前提——没有它,两个 AI 会同时认领同一个任务,干完互相覆盖。

预算硬停:超了是真的会停

花销按公司、按 AI、按项目分别记账,超过预警线就告警,到了硬上限就把活停掉。它自己的说明也如实写了边界:停的依据是已经记录下来的花销,正在进行中的活可能让停晚一步生效。

实测一:它到底有多少代码是 AI 写的

回到开头那个数字。我把仓库拉进隔离沙箱(一个只有只读系统目录、用完即删的评测环境,本机是生产机,不敢把陌生代码直接跑在主机上),数了全部历史:

口径 数字
提交总数 4,775 个
其中署 Co-Authored-By: Paperclip 的 2,127 个,占 44.5%
另有带 Claude 署名的提交 829 个
合并提交(带合并记录的那种) 376 个

这个署名不是社区自发的,是写在它自己技能说明里的硬规矩,用的是全大写的要求句式:只要提交代码,就必须原样附上这一行,而且特意补了一句——不要署你自己那个 AI 的名字,署「Paperclip」。

趋势更清楚。把这份署名按月份拆开,占当月提交的比例是:3 月 32%、4 月 43%、5 月 60%、6 月 46%、7 月 66%、8 月 42%、9 月 72%、10 月(到 4 日)68%。整体在往上走,中间有起伏,最近两个月稳定在七成上下。也就是说,这个仓库越来越像是它自己造出来的。

这里必须把话说完整,免得记错功劳:带这个署名的提交,作者那一栏仍然是人类账号。合理且唯一说得通的解释是——AI 在人的监督下干活,最后由人按下提交那一下。所以「44.5% 的代码是 AI 自己提交的」这句里的「自己」,指的是这段工作由 AI 完成,不是无人值守。

顺带一个细节:这个仓库自带一套统计脚本,专门去查全世界的代码仓库里有多少提交带这个署名,默认查询语句就是上面那个邮箱。它把自己的存在当成一个可以统计的现象。

实测二:6 道自检闸门,我跑出一道漏报

一个天天讲治理、审批、权限的项目,自己的仓库管得怎么样?它的包里定义了 5 道自检命令,我全部在沙箱里跑了一遍:

自检 它想拦什么 我跑的结果
禁止 AI 自行推送代码 适配器和运行时代码里不许出现 git push 通过
模块边界 功能模块之间不许越界互相引用 通过
Node 版本策略 锁定运行环境的版本下限 通过
设计令牌闸门 界面代码里不许写死颜色和字号 通过
Docker 依赖阶段 构建分层的依赖顺序 通过
泄露关键词扫描 发布前扫描不许出现在代码里的内部词 在干净仓库上通过,但我复现出一个漏报

最后一道最值得说。它的做法是:从一个本地清单里读出一串「不许出现的关键词」,然后用 git 的全文搜索功能在整棵代码树上找一遍,找到就阻断发布。我在沙箱里把最脏的情况构造出来,让它去找这个仓库里最高频的那几个词:

我让它找的词 实际命中量 它的结论
Dotta(一位贡献者名) 10.9 万字节 正确拦下
skill 343 万字节 报告「干净,没找到」
Paperclip 847 万字节 报告「干净,没找到」

原因我复现出来了,是个很典型的坑:它用 Node 的进程调用去跑 git,而这类调用的返回缓冲区默认只有 1 MB,命中量一超过 1 MB 就会抛错;它的代码把「抛错」和「没找到」当成同一件事吞掉了。结果就是——越是高频的敏感词,这道闸门越抓不到。

这不是致命故障:正常流程里关键词清单是短而具体的,不容易撑爆 1 MB。但它暴露了一类问题——衡量一个项目的治理能力,不能只看它有没有闸门,得看闸门在最坏输入下的行为。我上一轮评测里也撞见过同类的落差,可见这是这个品类的通病,不是这一家的孤例。

放在坐标系里看

先说清它不是谁。它和主流的编码助手(Claude Code、Codex 这类)不是同一种东西,也不是替代关系——那些相当于干活的员工,Paperclip 相当于管员工的办公室。它自己列了十二个适配器目录、覆盖十个品牌的 AI,从官方那几家到开源的都有,路线说白了就是「谁的员工都能招」。

热度得看两个口径,差别很大:

口径 数字 参照
GitHub 收藏 97,161 排得进第一梯队
每周 npm 安装量 59,341 同一周,OpenCode 是 321 万,Codex 是 2,552 万

这组反差说明:收藏它的人很多,真正装到自己机器上跑的人还很少。这跟它的形态一致——你得先有一台能常驻的服务、一堆要管的 AI,它才有意义。围观成本低,上手成本高。

还有两个要提前知道的坑:一是它的待处理清单堆得很长,2,733 个未关闭的问题,加上 3,639 个没合并的改动请求,其中 1,228 个是六月以前就开着的;二是它的路线图里还剩 6 项标注为「计划中」的能力,包括桌面应用和把外部工单系统(Asana、Linear、Jira 那一类)接进来当入口。

适合谁:手上真的同时在跑多个 AI 任务、并且已经开始为「谁在做什么、花了多少」头疼的人或小团队。它自带团队模板和技能商店,第一家公司能比较快搭起来。

不适合谁:只用一个 AI 助手写代码的人——你不需要开一家公司来管一个员工;以及想开箱即用的人——它要求 Node 24.11 以上,需要自己部署并长期维护一套服务。

我的判断

这是我这轮见过最有意思的一个项目,但有意思的地方不在功能表上。

它最大的价值是示范:一个 9.7 万 Star 的项目,把自己的开发流程也变成了产品的试验场——AI 员工按心跳干活、提交要署名、自检闸门管住模块边界和运行环境策略。前面那道漏报反而让这个示范更可信:它是真实的工程,不是营销话术。

具体怎么用:先把它当成一份「AI 员工怎么管」的活体参考——组织图、预算、审批、任务认领锁这几件事,就算你不上这套系统,把思路抄回自己团队也值。真要用,建议先用单机模式完整跑通一条任务,从派活到验收走一遍,别一上来就把二十个 AI 接进去。

这篇评测的全部数字都来自今天(2026 年 10 月 5 日)的沙箱实测和公开接口查询,仓库变化很快,尤其是待处理清单那一侧。

相关阅读:ayghri/i-have-adhd 深度评测(同样自带发布闸门却对自己判 FAIL 的那次),以及 taste-skill 复测(同样是逐条数提交,那次数出 63% 的提交只改了 README)。

关注 AI商业快讯,每天一篇 AI 热点深度解读。