一些产出
今年以来,折腾了一波 Agentic Coding 和自动化工作流,高强度地投入到日常的开发和科研中。这里简单做个盘点,算是对自己一些想法的总结。
现在共识看法是 ai 在去年底跨越了临界点,我基本认同这一判断。今年几乎完全没有手写过代码了,AI agent 效果还是非常惊人的。今年 tensorcircuit-ng1 代码库净增加了两万多行代码。其中只花了大概两天时间,我就把 QuEra 新发布的 tsim2有机集成和重写到了 TC 框架里。在科研复现上,在 TC 框架里建设了论文复现的基础设施和沉淀,平均几分钟就能复现一篇量子领域的代表性学术文章,零零散散复现了十多篇;甚至有次只花了不到一天时间,端到端自动化跑完了基于 Referee report 补实验、画图、写 reply 到改文章的全套流程。至于算法层面,可以几分钟内基于 TensorCircuit 范式自动写出高质量的 DMRG 代码,不仅原生支持 GPU 计算,而且 CPU 效率比成熟的 quimb 框架还要快。加上全自动翻译和上线 TensorCircuit-NG 中文文档、几分钟内填完 Word 模板的基金指南之类,这些任务的效率加速评估下来绝对在一个数量级以上。
面对这个规模的产出,我们可能不可避免地要问一个问题:在这个大家都能调用诸如 Claude 4.6 或者 GPT 5.4 这种同等智力水平的基础模型的时代,到底是什么决定了每个人产出的质量和天花板?为什么我们没有看到 100 倍,甚至更多的提效?经过高强度的实践,我发现答案并不是简单的 prompt engineering,而是隐藏在工作流的构建里。真正拉开差距的,是你如何利用个人的数据与经验,在工作流的“前、中、后”三端构建出好的体系。而且更有趣的是,在建立这套体系的过程中,我们恰好能够精准地应对大模型在展现极高智力时暴露出的三个致命的“性格弱点”——懒惰、急躁和欺骗。
前端:个人 Context
关于前端构建,一个核心的 insight 在于,个人语境与工作流范式才是 Agent 时代的终极护城河。代码世界之所以是一个绝佳的 playground,除了可以自动化验证,还在于它的物理逻辑是自洽的,而且上下文极其完整,不存在 context fragmentation 的问题。而在一般问题中,很多思考和信息散落在脑子里,微信里,不同的文档里和材料里,没有 context 的集中统一规范化,AI agent 就很难实现预期的效果。在我的实践里,context 由一静一动两部分组成。静态的 Wiki 是大模型思考的底座。tensorcircuit-ng 的 monorepo 本身就是一个极其强大的上下文基础设施。这里面不仅仅有框架代码,更聚合了快两百个各种量子相关的具体案例、物理逻辑还有过往的记录。这就使得大模型一旦接入,它面对的不再是干瘪的指令,而是一个极其丰满的领域知识库。此外,Karpathy 提到的用 AI 整理和检索(甚至不需要向量化,直接合理 index 和 grep 效果反而更好)个人知识库,也是一种 based AI,for AI,from AI 的 context 管理很好的范式,这个想法在 Karphthy 提出之前我就想到了,在我看来是非常直接的。
而动态的 Skill 则是个人执行范式的数字化延伸。对于技能型的 skill,比如 pptx docx 这种,确实安装现成的就好了。但工作流型的 Skill 是个人化且极难被平替的,而且我也不认为这种工作流型的 skill 应该安装别人提供的版本,每个个体的需求都是高度定制化的。我在 TensorCircuit 里建立了一套 .agents/skills 工具箱,用于代码库的性能优化评审,文章复现和教程生成等。我还额外定制了自己的技能库,里面封装了我极其个人化的数值实验记录、远程服务器连接逻辑,甚至自动化文章和基金撰写的套路。简单来说,Wiki 告诉 AI“我们有什么”,而 Skill 则明确告诉 AI“我习惯用什么姿势去思考和解决问题”。最简单的例子,这篇博客之所以看起来不那么 ai,是因为我让 ai 参照我博客的其他文章的文风生成的,在这里这个博客网站本身就构成了很好的个人 context,展示了我的表达和思考习惯。gemini 对我文风的总结是:“无过多冗余排版、带有硬核开发者的极客口吻、并在技术与哲学间随意切换的意识流写法”==
这套体系非常顺势地缓解了 AI 的第一个性格弱点:懒惰。懒惰可能来自于大模型长 context window 时候的性能衰减和注意力降低。用过的人都知道,AI 极其容易在长线任务(比如全局翻译或是系统性重构)里表现出敷衍了事、做一半留一半,或者只写个函数签名加个pass了事的惰性。但当你用高质量的 Wiki 提供极其严密的背景限制,再用定制化的 Skill 把大任务强约束成原子化的流水线步骤时,AI 就一定程度上失去了偷工减料和敷衍的操作空间。很多时候,你必须把 AI 逼到死角,他不得不解决你的问题,他才会发挥智力解决。
中端:Human in the Loop
在执行中,核心的 insight 只有一条:拒绝盲目的端到端自动化,中间人类纠偏、讨论、参与决策,总体上要省力得多。很多人喜欢盲目追求端到端自动化,但对于交付有严格要求且无法完全自动化验证的科研或工程任务,这往往是一场灾难。在中间环节引入 Human-in-the-loop (HITL) 可以说是必须要做的。这种逻辑说白了就像导师带学生,导师当然不需要亲自去写每一行代码,但必须要定时讨论、纠偏,根据当前的情况重新部署任务,而不是几个月后直接去读学生写完的最终文章。中间的检查和决策看似花了一些人类的时间和带宽,但比起最后验收时要弄懂发生了什么付出的精力,和发现方向全错而去进行重构级别的大修,简直可以忽略不计。此外,人类的一两句关键点拨,往往非常有价值,这也是专家在现阶段存在的意义,很多时候,就是几个词或者一句话的点拨,就可以把 AI 从泥潭里拉出来完成任务,差了这一两句话,可能任务就根本无法实现。因此,最好的用 AI 做科研的结果还是领域专家才能做到,最好的用 AI 写代码的结果也是资深的编程专家才能做到。在自己本来也不擅长的领域靠 AI vibe 做事情,只能做个半成品,很难解决关键问题。AI 并不是解决问题的银弹,人类专家的经验品味和直觉,在现阶段依旧稀有且具决定性。
这种导师制的强制干预,也完美缓解了 AI 的第二个性格弱点:急躁。急躁来自于强化学习阶段,对 AI 模型更短思考路径生成答案的鼓励。AI 有时是极度急躁的,一旦看到测试跑挂了或者出了 Bug,它的第一直觉往往根本不是仔细查阅日志去定位 root cause,而是凭着直觉甚至幻觉直接去乱改源码,企图用最短的路径蒙混过关,结果往往是越改越乱。如果再错,就再直接改源代码,如此反复,却不去写脚本验证错误来源是否符合自己的预期。有了 HITL 机制,我们就可以给它立下死规矩:强制要求 AI 每次报错必须先写一个 minimal demo 脚本去用实证复现和定位问题,然后向人类汇报,这样很多时候 AI 才会发现问题根本不出在他想的地方。只有在人类确认了根因之后,AI 才能去动代码。这种人为设置的强制刹车机制,直接把 AI 从瞎折腾拉回了理性的逻辑推演。
后端:测试和验收
到了后端评估环节,我们需要面对一个有些残酷的现实:虽然测试与评估的自动化决定了 Agent 发展的下限,但人类带宽几乎永远是最后的瓶颈。自动化测试非常重要,它是 AI 为何如此擅长程序任务的基础(RLVR),也有人断言测试才是新的软件护城河3,甚至比实现更重要,因为 AI 可以根据完备的测试,自动生成实现,因此有些软件框架甚至选择代码开源,测试闭源。但即使在代码生成这样高度形式化的任务里,尤其是当我们在一个本来就有成熟规范的代码库上进行二次开发时,还是需要人类来进行全局的架构设计、语义对齐,并为最终的代码质量承担责任。和管理员工或学生一样,人类管理 Agent 规模和产出的上限也是真实存在的。我们不可能无止境地 scale Agent 的数量和算力,去指望它们能全自动、绝对可靠地为自己干活产出。人类的检查带宽永远是整个工作流里最稀缺的资源。在 AI 时代,信任和注意力将是最宝贵的资源,测试和验收就是不可避免地要用很大的带宽和精力,去解决信任的问题。
既然人类审查无法避免,那么破局点就在于如何利用大模型非对称的能力来节约这宝贵的带宽。大模型在生成和判别上的能力是明显不对称的——它当裁判的能力远强于当选手的能力。因此我们可以引入 AI 交叉验证作为人类审查前的一道防火墙。具体做法是使用一个独立的模型,在极其干净的语境下去专门对代码逻辑进行审查,并形成交叉审查讨论和对抗式审查修改的自动化循环。这里强调干净语境,是因为绝对不能让审查 AI 看到前面试错和纠结的过程,否则极容易产生共情或者被带偏。
这套干净语境下的审查机制,其实也就缓解了 AI 的第三个性格弱点:欺骗 (Reward Hacking)。如果仅仅依赖简单的自动化测试,AI 会展现出可怕的欺骗性。为了让测试变绿,它会极其狡猾地去使用 workaround,甚至是偏离物理直觉的 hardcode 来 hack 测试。而一个有着干净语境、判别能力极强的独立审查 Agent,就能把大部分毫无物理直觉的凑代码行为拦截在人类审查之前,从而把人类极其宝贵的带宽留给最终的架构确认与拍板。
无论是构建深厚的个人 Context、打造专属的 Skill 工具,还是设立 HITL 导师制和引入干净的独立评估机制和自动化测试机制,这些系统工程的思考结合现在的 agent 框架以及 AI 智能水平,确实可以让生产效率提升了一个数量级以上。但我们必须清醒地认识到,这些手段终究只能极大程度地“缓解”,而无法彻底消除 AI 的懒惰、急躁与欺骗。在可见的未来里,人类的带宽依然是整个 Agent 工作流中的绝对瓶颈,幻想中的百倍千倍生产率的提升将导致产出高度不可靠。但这也许并不是坏事。在这场人机协作里,AI 大可以是最强效的生成引擎和不知疲倦的初审员,但质量的终极把控、物理逻辑的闭环验证以及对科研结果的最终负责,必须也只能由人类来完成。当大家都在使用同样的 AI 时,你积累的个人数据、打磨的工作流,以及你投资在关键节点上的人类带宽(决策、审查、关键洞察),也许就是这个时代最深的护城河。其不可替代的本质,在于很多品味、直觉、问题的判断能力属于隐性知识,无法写成 skill 的具体文字,也无法被蒸馏。当然如果将来 AI 快速发展,这些人类还剩的不可替代的能力终有一天也变得廉价了,我也是不惊讶的。也许一年后,再看这篇里的 insights,就都没有什么现实的相关性了。