academic-research-skills 深度评测:5.7 万星的学术流水线,16 项能力有 10 项自己标着「从未跑过」

写论文最耗人的不是想不出点子,是把文献翻三遍、把引用格式对到第九版、把审稿人的 27 条意见逐条回一遍。所以「AI 帮你写论文」的产品一直很多。

但这个项目的做法不太一样。

它叫 academic-research-skills,5.7 万星,做的是从选题到定稿的整条学术流水线。我翻它文档时撞见一张自己做的表:项目把自己 16 项能力逐条列出来,然后老实标上每项到底跑过没有——10 项写着「从未跑过」。

在一个 5.7 万星的项目里,这相当少见。绝大多数项目会把没测过的功能说成「已支持」,把测过的说成「已验证」。它反过来,先给你一张「哪些话我不能说」的清单。

我把它拷下来,把能跑的都跑了一遍。

它到底是什么:五个技能串成一条产线

拆开看,这是五个各自独立的技能,分别管一段活:

技能 管什么 内部角色数
深度调研 从模糊想法问到能落地的研究问题,顺带把文献扫一遍 13 个
论文写作 从提纲到成稿,管写作风格、图表、引用格式 12 个
同行评审 模拟一整套审稿:方法、领域、视角,外加一个专门唱反调的 7 个
全流程调度 把上面三段的顺序和交接管起来,共 10 个阶段 5 个
文献筛选 系统综述用的双人盲筛,算一致率、出流程图数字 4 个

上表的「角色」是个关键概念,需要解释一句:它不是一个会自动跑完的程序,而是一组写给大模型的岗位说明书。每个角色是一份几百行的文字文档,规定「你在这个岗位上看什么、不许看什么、输出什么格式」。真正干活的是大模型,这些文档负责让模型守规矩。

所以整套东西的形态是:35 种工作模式,43 份岗位说明书,外加 219 个非测试的配套脚本——另有 244 个测试文件专门检验这批脚本。装好之后你在对话里打一句「帮我做系统综述」,它就按预设的顺序往下推。

它有一个设计原则贯穿全篇:每一步都停下来等你确认。研究问题定了要你点头,提纲批准了才动手写,审稿结论出来了要你自己判断接受还是大改。项目文档里明说,AI 是副驾不是主驾,署名权归你,出了事你负责。

实测一:一万多条测试,我第一次跑挂了 13 条

这是我这篇最想写的一段,因为它同时暴露了这个项目的优点和一个真实的坑。

仓库里自带一万多条自动化测试。按它的文档直接跑,我这里的统计是 11,371 条。第一次跑,13 条红了。

红的原因是浅克隆——我为了省时间只拉了最新一次提交,没拉完整历史。而这个项目的检查脚本会去读 git 的历史,验证某些文档「自从某个版本以来一个字节都没被改过」。没有历史,它判不了,就报错。

我把完整历史补下来,再跑,13 条全绿。

这件事说明两件事。好的一面:它那条「文档不许偷偷改」的检查是真在查,不是写在文档里的摆设。麻烦的一面:它对运行环境很挑。

为了让它全绿,我一共补了三样东西:

缺什么 后果 补法
Python 第三方库 一批测试直接报「找不到模块」 按它给的清单装
awk 命令(一个老牌文本处理工具) 2 条端到端用例报「缺少依赖」 系统通常自带,精简环境里常没有
node(JavaScript 运行环境) 文献筛选脚本里 9 条用例失败 装 node 即可

完整起见:这三样补齐、加上完整 git 历史之后,我按文件逐个重跑全部 246 个测试文件。11,371 条用例里我统计到 11,370 条通过;剩下 1 条是耗时超过四分钟的用例,被我的单文件超时切断,单独拿出来跑是 147 条全绿、零失败。

这里有个对普通读者的实际含义:如果你只是想在 Claude Code 里用它写论文,这些测试根本不用跑。它们面向的是改代码的人。项目自己也把这件事写在文档里——核心技能是提示词驱动的,Python 只有少数可选功能需要。

实测二:那张自曝的表,我复核了两个方向

第一件事,我把它那张能力表重新生成了一遍。它是从一份数据文件自动渲染出来的,我重跑渲染命令,生成结果和仓库里的文件一模一样,仓库没有变脏。说明表不是手写的,是从数据来的,不存在「文档写得好看、数据另说」。

第二件事,它还有一份风险登记册,把已知风险逐条对应到「哪个机制在管」和「证据到什么程度」。这份也有自检脚本,我跑了,通过。

然后我拿最扎眼的三条念出来,你自己判断:

  • 引用存在性检查:从未跑过。它有四路联网核对「这条参考文献到底存不存在」的机制,但项目没公开测过它到底能查出多少假引用。而它自己在文档里引的一项研究说,2025 年一年全球可能有一万四千多条不存在的引用。
  • 审稿人校准:从未跑过。它明说线上评审永远是「未校准」状态——所谓校准(也就是先拿一批已知好坏的论文考它,看它给的判定靠不靠谱),不满意可以调,但校准后的档位还没接进正式流程。
  • 自带的声明边界:它不保证实验真做过、原始数据真实、结果可复现。文档原话的意思是一份从头到尾编得很一致的造假,能通过这些检查。

一个 5.7 万星的项目把这些写在自己主页上,需要一点勇气。这也是我觉得它值得写的原因:它的可信度不来自「我什么都能做」,来自「我清楚自己哪儿没验过」。

三个你自己会撞上的坑

许可证不许商用。它用的是「署名 + 非商业」的开放许可。自己写论文、学校课题组用都没问题;拿它去接代写、做付费论文服务,就是违规。想用它搞副业的人,这一条是硬门槛。

七种语言的说明书已经不同步了。 两级目录两边一样是 13 个,但三级小标题英文有 17 个、简体中文只有 15 个——差的两个都在讲设计动机那一节,「发生了什么」和「为什么重要」两段没译。支撑文献也少:英文版引四篇,简体中文版只引两篇。不是大问题,但非英文读者看到的信息量确实少一截。

基本是一个人维护的。完整历史 889 次提交里,同一位作者的两个账号合计 841 次,占 94.6%;剩下 25 位贡献者合计 48 次。响应速度取决于一个人的时间。

值得一试,但先想清楚你要哪一半

判断分两半。

如果你是要写论文的研究生、要投稿的老师、要准备开题的人——这套东西的价值在「流程的纪律」。它逼你把研究问题先写清楚、把提纲先定下来、把审稿意见逐条对上。花几块钱的模型费用换一遍完整的自我审查,这笔账很划算。

如果你是工程师,想借它学「怎么把一个 AI 流程管住」——它的价值在那份风险登记册和能力矩阵的写法。把「我验过什么、没验过什么」做成一张能自动生成的表,这个做法任何做 AI 产品的人都用得上。

反过来,别指望它替你做决定。它的整个设计就是不让 AI 替你做决定。

关注 AI商业快讯,每天一篇 AI 热点深度解读。

发表评论