mt logoMyToken
ETH Gas
EN

微软白皮书实证:换掉 Harness,同样的 Claude 表现差出一截

Favoritecollect
Shareshare

文|晓静

编辑|徐青阳

11月7日,微软发布了一份关于Agent执行系统的技术白皮书,包含一组有点出人意料的测试结果:同样使用Claude Opus 4.8,只换掉Copilot Studio背后的Harness,复杂任务通过率就提高了22.1个百分点。新系统每项任务调用模型的次数几乎翻倍,折算后的输入Token消耗却可以减少21%。

就在十天前,微软刚宣布将统一的Copilot Harness推广到旗下多个产品,并通过云平台向开发者出售托管服务。

11月5日,月之暗面刚刚发布Kimi Hosted Agents(托管智能体),正式提出Harness as a Service。8月,DeepSeek开源了自己的Harness;OpenAI、Anthropic更早就已经把内部运行系统变成开发者可以调用的服务。

那个大模型背后的“运行系统”,开始成为模型公司眼中的关键先生。

微软白皮书实证:换掉 Harness,同样的 Claude 表现差出一截

图片由AI生成

Harness可以理解为围绕大模型搭建的一套Agent运行系统。它让模型能够使用外部工具、持续执行多步骤任务,并根据执行结果调整后续行动。对于需要长时间运行的Agent,Harness还负责保存任务状态,使工作能够在中断后继续。

它与AI应用处于不同的层次。比如Claude Code、WorkBuddy等产品直接面向用户,而底层Harness可以被不同应用复用,也可以作为独立服务提供给开发者。随着Agent承担的工作越来越复杂,Harness逐渐成为影响任务成功率、执行效率和运行成本的重要因素。

Anthropic是较早投入Harness研发的模型公司之一,最初是为了解决Claude Code在长时间编程任务中遇到的问题。

2025年底,Anthropic发现,当Claude的上下文窗口耗尽,新一轮对话往往无法接续此前的工作。工程师于是改进了Claude Code背后的Harness,让Agent在每个阶段结束前保存进度,下一轮再读取这些记录,继续完成尚未结束的任务。这样,即使一次模型会话结束,整个编程任务仍然可以持续推进。

今年4月,Anthropic进一步推出Managed Agents,将这套Agent运行能力作为云端服务提供给开发者。为了让企业能够长期、稳定地运行Agent,Anthropic还调整了底层架构:Harness负责推动任务执行,历史记录可以单独保存下来,AI运行程序的沙箱也可以随时替换。即使沙箱发生故障,Agent也能恢复此前的工作。

从Claude Code内部的运行系统,到面向外部开发者的托管服务,Anthropic将多年积累的harness能力变成独立产品。

OpenAI也选择把Codex背后的Harness开放给更多开发者。今年2月,OpenAI披露,Codex网页版、命令行和IDE插件实际上共用同一套Agent运行系统。8月,进一步将Codex定位为开放的Harness平台,允许第三方应用直接接入。9月推出的Agents API,由OpenAI负责托管和维护这套系统,开发者可以直接接入Agent的运行环境。

这条路线让OpenAI既能通过Codex直接服务用户,也能把底层执行能力提供给其他软件公司。开发者可以保留自己的产品界面和业务流程,让Codex在背后完成具体任务。

DeepSeek在8月13日以MIT协议开放了Harness全部框架代码,它提出“Everything is a Plugin”,几乎将整个Agent运行系统拆成可以自由组合的插件。开发者除了替换模型和外部工具,还能修改Agent调用模型、执行任务的方式,甚至让Agent自己编写并安装新的插件。

这套基于Cordis的架构,希望让开发者不必从头搭建运行系统,就能按照自己的需要开发不同类型的Agent。

11月5日,Kimi官宣Hosted Agents提供全天候云端环境,企业可以把Agent放进内部系统,也可以嵌入对外销售的产品,并明确提出Harness as a service。

实际上,Harness的热度并不是由模型公司开始。

今年初,OpenClaw的走红已经让行业看到,一家没有基础模型的公司,也可能凭借Agent运行系统吸引大量用户。2月,OpenAI招募了OpenClaw创始人Peter Steinberger,参与下一代个人Agent的研发。

随后,Nous Research推出Hermes Agent,尝试让Agent把工作中积累的经验保存为可复用的Skills,并在后续任务中持续改进。

3月底,斯坦福大学等机构提出Meta-Harness,让AI根据失败记录直接修改Harness代码,并通过测试验证效果。在一项文本分类实验中,准确率提高7.7%,上下文Token消耗降至原来的四分之一。

这些探索为什么值得模型公司投入?10月,新加坡南洋理工大学测试了66种模型与Harness组合,发现更换Harness甚至可能改变模型之间的性能排名。

FrontierHarness Eval也发现,同一个Kimi K3,使用Codex的任务通过率为66.7%,使用DeepSeek Harness Creator为63.3%,使用Kimi Code则为56.7%。

对基础模型公司来说,提升模型表现,除了改进模型本身,也越来越依赖Harness的设计与优化。

微软白皮书实证:换掉 Harness,同样的 Claude 表现差出一截

研究者还在尝试把Harness积累的经验用于模型训练。7月提出的Co-Harness,先通过失败记录改进Harness,再利用优化后的执行数据训练模型。11月公布的HarnessFlow则尝试自动搜索更好的Harness设计,在六类任务中将平均成绩提高10.89个百分点。

微软白皮书实证:换掉 Harness,同样的 Claude 表现差出一截

不过,自动优化也有风险。11月初的一项研究发现,在特定实验中,一个Harness经过新任务优化后,原先在SWE-bench上的成绩从94%跌至32%。模型升级也可能让此前有效的设计失去作用。

这意味着,Harness的技术积累很难一劳永逸。如何在持续改进中保持不同任务的稳定性,仍然是还没有被解决的难题。

有行业人士表示,这也是部署开源模型的一大痛点。所以,模型公司已经开始出售Harness服务。开源框架可以免费获得,但企业若要长期稳定地运行Agent,仍然需承担部署和维护成本。Kimi、Anthropic等公司看到了接手这些工作的机会,将Harness变成一门独立生意,但不同公司的做法差异很大。

Harness开始成为一项可以单独收费的服务,但目前的价格表显示,模型推理依然是主要的收费来源。

Anthropic的Managed Agents每活跃会话小时收取0.08美元,Token另计,按照官方公布的一小时编程任务示例,总费用0.58美元,其中托管运行费只占约14%。

Kimi的收费分为模型Token、沙箱运行和付费插件。它公布的一次投行法律分析任务,估算成本约30元,沙箱费用不足0.1元。OpenAI在Agents API公测期间免收额外服务费,主要按照模型和工具使用量计费。DeepSeek将Harness以MIT协议开源,并没有直接的收费逻辑。

微软白皮书实证:换掉 Harness,同样的 Claude 表现差出一截

所以说,模型公司现阶段靠harness取得的直接收入可能微乎其微。

那么,为什么还要投入大量研发资源?

一个重要原因是,企业真正部署Agent之后,对Harness的需求可能比对某个特定模型更稳定。

美国法律服务公司ABC Legal原本将Agent部署在员工电脑上,通过定时任务运行。随着使用范围扩大,CTO Brandon Fuller开始寻找能够统一管理这些Agent的平台。他比较了多个方案,最终选择Anthropic的Managed Agents,因为企业不想继续维护分散的运行环境。

据Anthropic披露,ABC Legal在一个月内就将50多个Agent投入生产,约310名员工日常使用Claude。员工甚至不需要掌握软件开发知识,就可以通过配置创建新的Agent。

这说明,托管Harness的吸引力来自实际的企业需求。比起从头开发部署和长期维护运行系统,企业可能更愿意购买现成服务,将工程资源倾斜给自己的业务。

但企业不一定愿意因此绑定一家模型公司。

今年8月,VentureBeat公布了对107家企业的调查。85%的受访企业同时使用两套或更多Agent编排平台。选择平台时,29%的企业最看重模型与工具的灵活性,只有10%优先考虑与某个领先模型的原生适配。虽然样本偏向大型科技企业,但已经反映出一种采购倾向:客户希望保留更换模型的自由。

这恰好提供了Harness竞争的另一种商业逻辑。如果企业愿意长期使用一套运行系统,提供商即便不能独占模型调用,也可能持续获得托管、维护和企业开发服务收入,并与客户建立更稳定的合作关系。

这样一来,Harness就可以接触企业实际工作的执行过程。与单纯的模型API相比,Harness可以记录一项任务从开始到完成的工作轨迹,包括模型调用、工具执行、失败重试以及最终结果。这些记录既能帮助企业排查故障,也能为模型研发提供有价值的反馈。

微软白皮书实证:换掉 Harness,同样的 Claude 表现差出一截

如果能够持续获得经过验证的真实任务反馈,模型公司就有机会更快发现模型在生产环境中的问题。不过,这一优势也会受到数据权利的明确限制。

这也给模型公司提出了一个新问题:如果企业能够自由更换底层模型,又坚持掌握自己的数据,Harness还能建立多大的长期优势?

对模型公司而言,Harness可能带来比直接收费更长远的价值。当企业把越来越多的工作交给Agent,谁能提供可靠的运行系统,谁就有机会影响模型的选择,以及AI如何参与真实业务。

一个熟悉又老套的词:入口。

但是,这个在互联网时代根深蒂固的词语,总会牵动 AI时代竞争的敏感神经。现在,Harness从某种程度上承担了这种期待,以及想象力。

Disclaimer: This article is copyrighted by the original author and does not represent MyToken’s views and positions. If you have any questions regarding content or copyright, please contact us.(www.mytokencap.com)contact
More exciting content is available on
X(https://x.com/MyTokencap)
or join the community to learn more:MyToken-English Telegram Group
(https://t.me/mytokenGroup)