一年前,张小军对杨植麟的访谈标题是《向延绵而未知的雪山前进》。一年后,K2发布、开源,成为月之暗面至今最受关注的一次技术亮相,两人再次坐下来聊了将近两个小时。这次对话信息密度很高——从Muon优化器训练时"炸"的具体细节,到"用L4的技术解决L3的问题"这种抽象到近乎哲学的表述,再到"用RL管理团队"这种把公司治理和强化学习直接类比在一起的思考方式。整理如下,尽量保留了原话的语感和中英夹杂的表达习惯。
一、雪山没有尽头
开场杨植麟先回应了"雪山"这个比喻本身还成不成立。
"我感觉都是好像过了很久已经一年多了,AI一天人间一年嘛,所以可能AI的一年我不知道在人间是多少天。所以感觉确实很多东西发生了很多变化,但是我觉得那种感觉就是你刚说的那种雪山的感觉好像倒是差不太多的——可能往山顶的这个过程,我们又在走了一段距离。"
这段路走得怎么样?他的判断是:模型的进步很大,两年前一篇文章都写不明白的模型,现在已经能连续工作几个小时、完成很复杂的代码任务。但爬雪山这件事本身没有变——解锁了新场景的同时,往上走的路上仍然能看到差不多的景象:还有很多未知的技术问题需要解决。
访谈画面
被问到"更清晰了还是更迷茫了",他的回答落在了一本反复被提起的书上:
"我最近可能看一本书,就是这个叫《The Beginning of Infinity》,我其实看好几遍。你发现它里面讲的最重要的一个事情就是说,它说有两句话要刻在石头上:一句话叫'那个问题是不可避免的',但是第二句话是说'问题是可以解决的'。"
这两句话后来成了他这一年最重要的心态注脚(第八节"最大成长"会再次出现)。他借这本书的框架去描述启蒙运动前后的社会形态差异:
"你可以认为在可能启蒙运动之前,这个社会它是一个静态的社会,就是大家并不追求创新——你可能会用很多神奇的方式去解释你观察到的现象,但这些解释可能并不是一个好的解释,比如说你看到天上打雷,你会觉得是有雷公;你看到冬天下雪,你觉得可能是因为某个神心情不好所以下雪了……所以它整个社会是个静态的社会,只有非常少数的人在真正做这个所谓的科学研究,或者说知识的创造。但是如果是在启蒙运动之后,你发现这个社会它变成动态的——你会有很多新的知识被创造出来,你产生了一个知识,它就解决了一个问题,但解决这个问题的时候你会产生新的问题,那你的问题是源源不断,因为你的知识边界是在拓展,那你就会遇到很多新的问题。"
他认为研发AI的过程恰好是这样一个动态过程的缩影:解决了强化学习的很多问题,但马上会面临新的问题——比如评估、比如验证。这些新问题需要新答案,而这本身"是非常有意思的一个点":
"因为你一直会有新的问题可以去解决,然后每次解决一个问题,你的技术就是会往上,在可能在攀登几百米。然后就是可能有一天……也许我知道,有可能这个雪山它有可能没有尽头,我不知道,就是我希望它一直没有尽头,因为这样的话,就是所谓的beginning of infinity,就是这个意思,就是它可能是一座无限的山。"
问题不可避免,但可以解决——这不代表停留在原地。杨植麟设想了一种更激进的场景:随着能力提升,爬山的主体本身可能会变化。
"甚至有可能爬到一段时间之后,你不一定是自己在爬,有可能是你用AI来爬——比如说我们现在也会把K2这个模型用去做很多可能模型训练或者说数据处理相关的工作,这些东西它以前可能都是要人工写代码,但是现在很多数据处理,甚至包括模型的一些训练,你慢慢越来越多都可以用模型来做。所以你可以把这个东西作为一个放大器,去更好地攀登这座山。"
关于终点,他明确否定了"AGI是终点"这个曾经默认的设定:
"以前我们会固化地认为终点就是AGI,今天的终点已经不是AGI了……AGI可能是个方向,它可能不是某一级台阶,说你爬到了这级台阶就突然一夜之间达到了AGI。虽然我们用登月来命名公司的名字,但它跟登月有一个区别——登月就是你站上月球那一刻,它是终点的,你号称我就达到了;但可能AGI它就是……不能这么说。"
他补了一个更贴切的类比——蒸汽机:
"有点像比如你产生了蒸汽机之后,整个社会的变化其实是需要花可能几十几百年的时间去消化——你有一些工作可能不再必要,但是你会产生新的工作,然后有新的方式,可能人会用AI去做更……每个人都会成为超人了,这个社会它的工作方式和它的运行效率可能都会发生很大的变化。"
顺带一提,"K2"这个模型名字,确实是在向那座比珠峰更难攀登的著名山峰致敬:
"K2本来就是一个可能是世界上最难攀登的山峰,刚好这个名字有点重合……但我们也希望,首先它不是终点,因为它不是最高的山峰,它可能是最难的——因为现在有很多范式的转变,从对话到agent,base model的scale也进一步变大,它本身就存在难度。"
二、缸中之脑与走出鱼缸:过去一年的两大范式
回望过去一年全球大模型最重要的范式变化,杨植麟给出的答案是两个几乎并列的方向。
第一个是强推理模型,以o1为代表的、基于强化学习的"强思考"范式。他把这类模型的核心机制归结为"反思",并进一步拆成两种能力:
"反思其实本质上是两种能力:一种能力是提出来一个新的猜想——模型在解决一个问题过程中会不断提出新的猜想;这个猜想呢,它会得到一个自我的验证。虽然你不是显式地训练一个验证模型,但它是在这个推理过程中隐式地去做了验证。你可以理解成它把这个问题做了很多次,每次猜想、验证,猜想、验证,最后可能就可以得到一个答案。"
这个机制的价值在于把原本"一次性"的输出变成了可以反复试错的过程:
"这个东西会很大程度提升模型的能力,是因为你本来只能做一次——你本来只能直接给出一个答案,这个答案可能是对可能是错的,你并没有这个过程。但你现在可以不断地提出猜想去验证,那你其实等价地尝试了好几次。你就是可以把这个pass k可能变成pass one。"
他还特意强调这个过程"不是一个线性的过程,它有效的工作方式实际上还是很多时候是比较线性的"——每一次新猜想是基于之前被否定的猜想提出的,所以更接近串行推进,只是可以搭配并行采样策略。他提到最近有论文显示串行的上限可能更高,这跟月之暗面自己的实验结论也有些相关。
这种范式的本质,杨植麟用了一个很形象的比喻概括,也是整场访谈标题的由来:
"它还是一个缸中之脑——就是说它并不需要跟外界交互。你想象一个鱼缸,然后你把一个脑子放在里面,它跟这个外界是没有联系的,它是在这个环境里面,它只是在自己大脑里面想,它一直想,它不需要跟外界产生任何的交互,它就能解一道题。"
访谈画面
第二个范式是Agent的强化学习,特点恰恰相反——需要跟外界持续交互:
"它会跟外界做很多交互,比如我可能边思考边去做一些操作,我可能做很多轮的操作,一会调用一个搜索,一会使用一下浏览器,一会可能写几行代码,通过多轮的方式去解决了一个问题。那它就不再是缸中之脑,它是跟外界有交互的——我的下一步行为,是根据这个交互得到的外界给我的反馈、给我的新的状态更新,是有关系的。"
两个范式表面上路径不同,但指向同一件事:test-time scaling。
"不管是基于强思考的强化学习,还是说这种agent的强化学习,它本质上都是一种去规模化这个……在预测的时候的token的方式。不管是说我把轮数打得更多,还是说在每一轮里面我有更多的思考的token,它都是一种去规模化token的方式,使得你能去完成更复杂的任务。"
这也解释了为什么现在的agent任务动辄需要几个小时——本质上是token在被大规模scale:
"它就可以比如把一个代码仓库克隆下来,然后把它翻译成另外一种新的语言,然后去调试测试,然后去把所有的bug都修了,让它能正常地运行——这样的一个工作可能是可以端到端地去直接完成,这就得益于测试时的规模化。"
三、一方产品 vs 脚手架产品:两种正反相对的开发逻辑
这是整场对话里杨植麟展开得最完整、也最容易理解的一组对比。他观察到的第三个趋势,是模型公司越来越多地开始做"一方"agent产品,而不只是发布基础模型供别人搭脚手架。
他先描述了"脚手架产品"这条路径的本质——本质上是在做逆向工程:
"它本质上在做的一件事情,就是去逆向工程这个模型的训练过程——模型训练过程它也是通过各种环境、工具,它的脚手架训练出来的这样一个模型,但它可能没有直接开放给你,你是逆向出来,更接近去拟合它的分布:到底你用什么工具它效果会好,到底用什么样的system prompt效果会好,到底用什么样的context engineering效果会好——是一个这样逆向的过程。"
而模型公司自己做一方产品,逻辑是完全反过来的:
"如果模型公司去做一方的产品,它的逻辑是完全不一样的——你不再需要这个逆向的过程,它更多的是一个正向的做法:我现在先把这些工具设计好,我的context engineering的方法都设计好,然后我就在这个环境里面去训练这个模型,所以你的模型天然在你的环境里面就会表现得更好。"
他直接判断第二种路径的上限更高:
"这两种不同的思路,但可能第二种它的上限也许会更高——你可以更好地去整合这个工具和整合这个模型,你的模型有可能有些解决不好的地方,你可以去调整这个工具的设计,把它设计得更好,同时你又可以端到端地去做训练。"
| 脚手架产品(如Manus) | 一方产品(如Claude Code、ChatGPT Agent) | |
|---|---|---|
| 逻辑方向 | 逆向工程模型的训练分布 | 正向设计环境,端到端训练 |
| 工具与模型关系 | 工具适配已训练好的模型分布 | 工具与模型协同设计、一起训练 |
| 上限 | 受限于对模型分布的拟合精度 | 可端到端优化,上限更高 |
被主持人追问月之暗面自己怎么选,杨植麟的回答很坦诚——目前投入还不算多:
"我们现在在一方产品上的投入还不算特别多,我们现在可能主要还是做很多,以模型作为我们的主线。但你可以看到比如像Manus这样的方式,或者像Claude Code、ChatGPT Agent这样的东西,它其实就是一方的产品,我觉得应该也会是一个很大的趋势。所以可能后面就是看这两种东西它会怎么去配合,或者说它们在这个生态里面边界分别在哪里。"
这段对话引出了ChatGPT那个著名的L1到L5能力分级(Chatbot → Reasoner → Agent → Innovator → Organizer),杨植麟对这个分级最核心的判断是:它看起来是分级,但未必是线性依赖关系。
"实际看起来,agent的上限是取决于你有很强的reasoning能力,但好像并不是说你必须——假设我们把这个技术发展稍微换个顺序,你先做出来agent能力,然后再去做现在这个狭义上的reasoning,我觉得实际上可能也是成立的。"
他举了Claude作为反例:
"可以认为Claude的路线它就是better在这一点上——它在reasoning上做的并不是那么多,但它可能在agent上会做得非常好,因为它对应的其实是两种不同的test time scaling范式:一种是通过多轮的方式,因为你需要跟外界交互,scale的是轮次;另一种是scale纯粹的思考,你可能并没有什么交互,只是一直在那儿思考。你看Claude很多模型,它的reasoning performance并不是非常高,但它的agent performance是很高的——这两个东西其实也并不一定是依赖关系。但有一点:如果你想做最好的agent,想让它解决最复杂的任务,你最终可能是需要reasoning能力也很强。所以在研发上它不是必然的顺序,但如果你想达到最好,两个都要,只是一个时间问题。"
再往上一级,Innovator(创新者)对应的是模型参与到自身研发的能力:
"这里面最关键的一个点,就是你的模型到底什么时候能参与到模型的开发——比如我们希望K2能够参与到K3的开发里面。如果你没有这个agentic能力,你其实很难做到这个事情;但当你有agentic能力之后,它就可以去提出一些新的想法,或者做对应的实验,分析实验结果、得到一些结论,然后去迭代下一版的想法,或者优化某一个infra的性能——这个东西需要很强的agentic能力才能做。"
访谈画面
Organizer(组织者)层则对应multi-agent系统,他认为这一层和Innovator不一定是严格串行关系,两者可能并行发生:
"现在已经在有这样的趋势——当你有一个agent之后,你就可以把它拓展成一个multi agent的系统,你可以从一个agent fork出来很多个不同的agent,让它去做不同的事情,可以串行也可以并行,再合并起来,再分成几个不同的task:有的去写测试,有的去写文档,有的去设计整体的软件框架,可以有不同的分工。"
最后回到那个反复出现的雪山隐喻——Organization是不是雪山的峰顶?
"我觉得也不是,可能它真的就是没有顶——这几个能力它可能随着时间的发展都会持续变得更好,包括推理能力,你说推理能力的上限到底在哪里?我觉得今天也不好说。"
四、K2怎么炼成的:Token Efficiency、Muon优化器与数据改写
聊完范式,话题转向K2这个模型本身。杨植麟先给K1.5和K2做了定位区分:K1.5是强化学习技术的验证,对标o1;K2则是一个更完整的产品。
"K1.5更多的是可能是强化学习这个技术的验证,我们对标OpenAI,也是比较早去在这个技术路线上做投入。当时我们发现,你可能不太需要太多的process reward或者这种比如value function——这些东西可能在训练过程中还有一些副作用。我们发现你可能直接用端到端的reward,就可以把这个训练得非常好。这个在早期其实并不是非常明确,在这个过程中我们积累了一些强化学习的基建,还有算法上的know-how。"
K2的目标更明确:做一个非常好的base model,同时具备好的agentic能力。技术判断的起点是当前预训练的瓶颈——高质量数据增长太慢:
"如果你想有一个更好的base model,我们就要去看现在整个领域预训练的瓶颈在哪里。我们发现,因为高质量数据的增长确实很缓慢,多模态数据你又没有办法很好地去提升文本本身的智商,你可以认为高质量数据它有点接近是一个常数。所以我们希望把每一份数据能够最大化地使用,就是所谓的token efficiency。"
这里他特意把"token efficiency"和另一个常被混淆的概念"compute efficiency"区分开:
"训练系统里面做很多性能优化,让它训得更快,这个东西也很有价值,但训得更快本身并不能提升智能的上限,因为你的token只有这么多,训得更快最后只是说我在更短的时间内完成这个训练,但模型的效果并不一定会变得更好。这是所谓的训练效率,或者compute efficiency上的优化。我们现在更多是希望提升token efficiency——把一份数据当成好几份来用。"
具体做法之一是Muon优化器——一个原本不是月之暗面发明、但被他们率先大规模验证的技术:
"Muon优化器是Keller提出来的一个东西,我们在上面做了很多的优化,让它能够在很大规模的语言模型上去适配和训练。Muon并不是把每个元素独立地去考虑,比如一个矩阵的参数,它会考虑它们之间的dependency,通过这种方式你其实可以更好地有更高的学习效率——也就是说你学同样一份数据,能得到更多的智能。"
效果有多大?他给了一个具体数字:
"在我们早期的实验里,如果是在compute optimal的情况下,你基本上会有一个两倍的提升——学一份数据就等于别人学两份数据,等于你用Adam学两份数据。假设你有30T的高质量token,那你等价就是变成现在有60T的高质量token。"
这条技术路线不是一蹴而就的。团队之前有一篇叫Moonlight的工作,第一次把Muon用到了一定规模的语言模型上;但规模再往上走,出现了新的坑——这也是K2训练过程中遇到的最大挑战:
"我们遇到的就是那个Muon,你去训的时候它就会炸——我们在paper里画了一些图,就是max logit会长得非常高,我们认为这个东西对训练的稳定性有影响,很多内部指标不正常的话,其实对模型的上限是有害的。我们就等于又回过头去revisit,重新看这个问题,然后去修复它——因为这个东西是你在小规模实验上没有办法预测的,小规模上没法复现这个结果。然后我们提出来一些新的比如clipping的方式去解它,让它能够在非常大规模的情况下仍然能够很好地训练。其他的基本还好,因为都在小规模上做了很多实验,基本上是可以迁移的,唯一有这个是小规模上验证不了,所以需要在scale过程中再去临时解决。"
除了优化器,K2还在训练数据上做了改写(rephrase)——用模型重写已有数据,生成新的语料:
"如果同一份数据学很多次,它可能泛化不一定那么好,会有一些过拟合的问题。所以我们希望通过这个改写,让它有一定程度的泛化。"
主持人抛出一个很尖锐的追问:改写和扩充是不是没有意义的操作——能写出来的知识说明知识本身就在模型里了,除非改写时引入了其他方法,否则不会有新知识。杨植麟没有回避,给出了一个坦率、带保留的回应:
"这是一个很好的问题——可能确实跟你的改写方式也有关系,理论上就是看你有没有新的信息熵的输入。所以我觉得这个它对改写的方式是有一些要求的。但我觉得我们今天也不一定是最好的改写方式,这里面还有很多可以探索的空间。"
⚠️ 这一段的"新的商的输入"在转录中比较模糊(推测原词是"熵",指信息熵),他自己也没有完全展开,是标注为开放问题、而非确定结论的地方。
另外,参数规模本身也是提升token efficiency的一环:
"去加更多的参数,它的token efficiency也会更高,因为你参数多了之后,虽然学一样多的数据,但你也会吸收得更好。"
这套技术组合直接指向了Scaling Law是否放缓这个更宏观的问题。杨植麟的判断是数据墙客观存在,但模型变好的速度并没有减少,甚至在加速——因为RL阶段的scaling效率比预训练更高:
"Scaling Law就是有数据墙了,我觉得这肯定是一个客观的事实。那你突破这个数据墙,就是要提高Token Efficiency……你先scale预训练,然后又scale RL,RL的scaling效率又比预训练要高很多,因为它是on policy带负梯度的训练,所以它的scaling效果其实是效率更高的。当你有很高的scaling效率的时候,你直接scale这个compute、scale这个flops,它带来的提升是非常非常大,所以会显得其他带来的提升很小。"
这也顺带回答了另一个常被讨论的问题——为什么AI产品到现在还没有形成成熟的数据飞轮:
"一方面是基于算力的scaling太强大了。另一方面,所谓的数据飞轮它很依赖于外界环境的feedback,这个feedback我们不希望它有太多的噪声,但现在这方面还没有完全做得非常好——大模型的学习对噪声是比较敏感的,跟传统的推荐系统有点不太一样。现在看起来还是基于flops的scaling是更有效、确定性更高的方法,当然这个平衡什么时候会产生变化,也有可能是你通过新的交互,让你收集到的信号的噪声能够减少——但这需要创造一种新的交互,而且这个交互要适配模型能力的发展,不能超越模型能力。"
访谈画面
K2发布之后,他也坦承目前放出来的更接近一个打磨完的base model,性能潜力还没有被完全压榨出来:
"至少说现在K2的性能潜力其实还没有被完全压榨出来,因为我们之前放的,我觉得更接近是一个Base Model这样的东西。接下来我们可以加更多的Post Training的Flops,我觉得它的上限应该会比现在还会高很多。然后肯定我们还会去做下一代的模型,下一代模型应该可以有再更多的提升。"
五、Agent的泛化性瓶颈:用L4的技术解决L3的问题
如果要在整场对话里找一个杨植麟反复强调、并明确称之为"当前最大挑战"的点,那就是agent的泛化性。
"对于一个agentic模型来讲,可能现在最大的挑战其实是在模型的泛化上——因为现在的RL技术,它的局限性在于,你不管是训练任务还是评价指标,很多时候都是单点的,比如说你就训某个benchmark,要提升这个benchmark分数,这是一个基本上很确定的东西。但你的指标提升上去之后,并不意味着你的模型的泛化会变得更好。"
访谈画面
问题的根源之一是benchmark本身不够用、也不够真实:
"你会慢慢观察到,agent能用的benchmark不是非常多,你在那些benchmark上如果观察到一个分数,它其实很多时候并不是对这个能力的反应,它其实也比较片面。"
他提出的破局思路是"用更AI native的方式去训练AI":
"这里面可能有一种潜在的思路,就是我们还是用更AI native的方式去训练AI——让模型参与到更多的训练过程里面。因为如果你的AI能够做很好的alignment research,理论上它可能会有更好的泛化,你就不仅仅只是在优化一些单点的任务。"
这段对话里最关键的一句概括,是他把这个思路和前面L1-L5分级直接挂钩,指出L1到L5的分级可能根本不是线性的——因为解决L3(agent)的泛化问题,恰恰需要动用L4(innovation)层面的能力:
"现在很多还是要靠人的设计,你设计到innovate那个阶段了。所以这很有意思——它其实有可能不是线性的,你要用一些innovation的方式去解决你的agent问题,因为今天你的agent泛化不够,所以你要用innovation的方式去解决它,就是你用L4的技术去解决一个L3。"
这也是他在结尾"快问快答"环节里,被问到"基于当下认知最关键的一个bet"时给出的答案:泛化的agent,用innovation、用L4做L3。
如果没有这种自我迭代的路径,agent就容易陷入对已知任务分布的过拟合:
"你没有这个很好的innovation,没有用AI去训练或者AI对齐AI的方式的话,这个agent就是很难做到特别好的泛化——比如你今天人工定义了一些task,然后你就fit那个task,但是你在别的看不见的task上,它就有可能表现没有那么好。你只fit那些task,你就只刷那几个task的分,其实很多时候用户在一些更OOD的场景里面,体感就是没有那么好。"
为什么数学和代码相对容易泛化?他的回答很实在——其实也没有那么容易,只是强化学习本身泛化性比SFT好一些:
"如果你做强化学习,它现在还是会有一样的问题。当然强化学习本身它的泛化性要比做SFT要好,因为你在这个过程中有更多的on policy的sample——从模型本身去sample,它学出来的东西现在看起来是更好泛化,而且你有负梯度,这两个东西会导致从证据上来看它的泛化会好。但它的泛化还是有限度的——比如你今天假设在某一种类型的数学竞赛上做到99分,那你别的数学问题可能会提升5个点,但很难直接也做到99分,如果不做对应的RL任务进去的话,它就很难直接做到这样的泛化性。"
他用了一句很中国的表达总结这个限度:
"它是被分布所制约的一个东西,所谓就是说你还是种瓜得瓜种豆得豆。但我们希望整体的RL或者post training还是需要有更多的AI来让它能够摆脱这种种瓜得瓜的情况。"
会不会永远摆脱不了?他又把这个问题绕回了开篇那两句"刻在石头上的话":
"问题是不可避免的,但问题是可以被解决——所以每次会往前推进,泛化就是会变得更好,它可能是一个……不一定有尽头,你一直会有更好的泛化。"
任务和环境设计上,杨植麟提到一个具体的方法论:强化学习如果搭配好的sample策略,本质上是一种隐式的课程学习(curriculum learning),K2用的是中等难度任务而非直接挑战最难问题:
"你不能一上来就让它去证明一个还没有人证明过的数学问题,那sample efficiency会非常非常低。现在感觉比较好的方式,是强化学习如果搭配好的sample策略,它本质上是一个隐式的课程学习的机制——希望它从合适难度开始学,学完逐渐去提升难度,而不是一上来就学非常难,那样采样效率很低,基本上学不到什么东西,算力都会被浪费掉。但这个挑战还是说,今天的很多任务还是来自于人类存量的数据,或者人去设计的一些任务,这里面AI native的部分还比较少,所以会带来泛化性的问题。"
关于环境和工具设计的通用性,他重申了第三节里"正向设计"的逻辑,但这次落在通用性本身:
"很重要的还是让这个设计有更好的通用性——它不应该是为了某一些任务去专门设计这个工具环境,当你的设计足够通用的时候,你用模型去在这个过程中学,而不是反过来去拟合这个模型,我觉得这样可能会是一个更好的做法。"
关于coding agent和通用agent的关系,他的定位是coding是一个重要但仍是子集的垂直领域:
"coding可能是一个比较垂直的,或者说它是一个子集——你只要把(写代码和调用工具)两个用得足够好,就能做大部分的事情。coding是相当于一个环境,它相当于人类的手,它是任务的一个子集,但可能是很重要的一个子集,在于它代表了数字世界的自动化。今天假设你想创建一个新的工具,本质上是写一段代码来实现。但并不是说做了coding agent就足够了,因为很多不是程序员的人也会用Claude Code去做很多任务——你是律师、产品经理、设计师,也会用它做一些事情,是因为你的模型一定程度上有泛化,它不仅仅只是会写代码。"
最后是长上下文(Long Context)——他认为这同样重要,而且难点在于长和聪明这两个目标本身存在架构上的张力:
"很多任务,128K、256K这种context完全解决不了,你需要百万级别甚至更多,但你又需要在这个级别下,你的脑子还非常好用,智商还得非常高。这两个东西天然会存在一些冲突——你需要更好的架构,但有一些架构你发现,它在更长的context下效果会有提升,但短的context有可能又不一定会有提升,甚至会有下降,所以会有很多架构上的平衡问题。"
他特别点名纯Linear Attention架构会牺牲智商:
"如果做Linear Attention,纯粹的Linear Attention,它可能就是会影响智商,因为这个架构会有一些bias,这个bias可能在一些场景下效果没有那么好,但这是一定程度上也可以被解决的问题。"
六、开源这件事:从"会掉队"到"我们开源了"
这是访谈里张小军追问得最直接的一个环节——去年杨植麟明确说过开源会落后于闭源,理由是开源的贡献机制已经失效:
"你去年说开源会落后闭源,因为开源的方式跟以前不一样,以前所有人都可以贡献到开源,因为开源本身是中心化的,开源的贡献很多没有经过算力验证;那闭源可以有人才聚集和资本密集,是一个对市场整合,所以领先者不会开源,只有落后者才会这么做。"
那么,为什么K2还是开源了?杨植麟的回答很直接,没有回避这个转变:
"因为我们还不是绝对……我们还没有做到非常,就是完全的领先嘛,有一些判断上其实基本上是这样。"
他把"开源能带来什么"拆成了两层——base model层面和post-training层面,两者能获得的社区贡献完全不同。Base model层面,社区能做的更多是外围支持:
"你的模型出来之后,这个社区它能贡献一些东西,比如你在推理侧可以做很多事情,你可以让这个模型有更多人免费给你serve,让它有更多人去用。但确实你要贡献到模型本身,把这个模型本身变得更好,好像还只能是你原厂自己来做。"
但在post-training、尤其是agentic post-training层面,开源模型给下游创造了真正的新机会:
"如果基于这个开源模型去做很多post training,特别是agentic的post training的话,有可能会产生出来一些新的机会——比如假设你现在想做一个法律相关的agent,你是一个创业公司,完全可以基于K2,在你定制的工具集合上面,训练出来一个specialized的agent,它在你关注的场景下表现得非常好,我觉得存在这样的机会。它更多是去赋能更多的下游应用,但你很难说把这些东西变成你的主模型base model的提升,这个可能还是目前很难。"
至于长期是否坚持开源,他的表态是长期方向是开放,但不会把所有东西都开出来:
"这个是我们希望长期去做的事情,但我们不一定是说只做开源,我们会希望能够去跟社区分享技术的know-how。我觉得这个是可以去加速我们往下去提升的一个很重要的点——大家可以不完全只是竞争,也可以有一些合作。但也不一定所有东西都是开源,比如假设我们现在跟某些公司有一些合作,它不一定说你所有东西都要开出来,但我们可能会希望能持续地去开放一些好的技术。"
被问到这究竟是技术信仰还是市场博弈策略,他的回答很坦率地承认两者都有:
"客观地说是都有,而且可能都有好处,但最终我们是希望能通过这个东西让这个技术可能更安全、更快地达到一个更好的水平。"
对全球开源/闭源生态的最终格局,他的判断是会收敛到少数几家:
"如果你去看过去两年,这个趋势还是比较明确的——这个市场会逐渐更集中、更聚焦、更收敛,你可能一开始有几百个到几十个到几个,我觉得几个可能是最终一个比较稳定的数,我觉得现在看起来是一个大概率的事情。"
关于"为什么中国公司都开源了"这个更宏观的现象级问题(他还特意纠正了一下这个前提——字节就没有开),他给出的解释同样是市场博弈叠加社区互惠:
"也不是都,字节就没开。客观地说还是……可能有市场博弈的因素,我觉得这个对社区来说是一个好事——你开源了可以互相借鉴,可以去加速做到这个技术的推进。"
七、用RL管理团队:CEO这一年的新理解
这是整场访谈里最意外、也最有意思的一段类比。杨植麟被问到过去一年对"组织"有什么新想法时,给出的答案把科研方法论、认识论和公司管理三件事连在了一起。
起点是一个关于知识起源的科学哲学问题——经验主义是否成立:
"如果你看我们去做科研或者说创造新知识的过程,它很像一个强化学习的过程。有一种理论是说经验主义,说人得到新的知识是从经验来的,但后来有很多观点认为不是这样——人类在这个地球上已经存在非常非常多年,但可能三四百年之前没有任何人说地球是个球,就一直在这个经验里,但你并不知道事实是什么样,所以经验并不能直接给你这个知识,而是你提出了这个猜想——你观察到一些东西,但你提出猜想说,我认为这个球可能是圆的,然后我想各种办法去验证它。"
访谈画面
这套"猜想—验证"的框架,他直接映射到了训练神经网络的过程本身:
"包括现在训练这个神经网络,你可能观察到你几十万个内核指标,你观察到有一些内核指标可能不太对,那你直接观察并不能给你新的知识,你只是说我提出来一个猜想它为什么会这样,然后我再设计一些实验去验证它。"
然后是这段对话里最跳跃、也最诚实的一步——这套方法论同样适用于管理团队,而且这个洞察不是他自己想到的,是朋友Tim的观点:
"这几个东西好像三套是相通的——你发现好像管理一个团队它也是这样的方法,就是你要用RL的方式去管理。当然这个是Tim天天跟我讲的,就是他觉得要用这个RL的方式去管理,而不是用SFT。"
他随即给出了SFT和RL在管理语境下的具体定义:
"SFT就是你直接给它说这个东西应该这样这样这样这样做;RL就是说你给它一个从上而下的……给它一个奖励,就是说如果做成这样那它可能是好的,更多时候它是反映在目标上。"
但他没有把这个类比讲成非黑即白的选择,而是强调两者需要平衡,纯RL式管理同样需要一点SFT打底:
"现在你发现好的技术,你做RL的时候其实也希望加一部分SFT,因为SFT是很好的先验,就是所谓的PTX Loss,你不希望这个模型飞太远。但是你又要管住自己的手——你不能SFT太多,SFT太多,这些同学就会失去主观能动性,然后就没有办法创新了。这个点我现在在做一些实践,好像看起来有一些效果,但核心是掌握SFT和RL的平衡,可能以RL为主,通过一部分SFT去防止它飞太远——你还是要有一些先验去控制,或者防止它遗忘掉一些东西。"
这个类比最有价值的部分,其实是他对RL式管理最大风险的诚实反思——reward hacking,同样的问题在训练模型的时候也会发生:
"你在RL过程中,你定这个奖励或者定这个指标,它并不是非常简单的一个事情——比如说如果你只是最后说,我就是要把所有的benchmark做得很高,那你可能就会出现很多overfitting的问题,因为所有人都会不择手段地把那个分数弄上去,但弄完之后你发现,这个模型好像还并没有变好,这个奖励的定义就很重要,或者说这个奖励的定义也需要你很了解这个具体的细节是怎么运作的,不然的话它就会出现reward hacking。"
如何应对?他给出的做法很直白——建立更多观测指标,避免优化目标过窄:
"还是你建立更多观测指标,然后尽可能不要去过拟合……用RL管理团队的方式,最大问题就是你容易被hack——你hack那个reward,大家看起来都成各种,那个好像结果都很好,但实际上并没有达到你最终想要的,这个是它的风险。然后你用SFT管理团队的风险就是,大家会失去创造力。所以最后是这几个东西的一定程度的balance,这个我也在学习,我觉得今天肯定不是说做到很完美的情况,但可能也要逐渐去学习和理解这个事情。"
被直接问到"对CEO这个身份有没有新的理解"时,他给出的答案几乎是这整段类比的浓缩版:
"我现在最新的理解,就是怎么去把握这个RL和SFT,还有reward hacking之间的平衡。"
八、创业反思:技术决策、心态与产品逻辑
技术决策与弯路
复盘2023到2024年,杨植麟的关键动作是二月决定创业、组建团队、下半年Kimi上线、押注长文本。到了2024到2025这一年,他总结出两条最重要的路线切换:
"很重要的可能技术上,就是你从以预训练和SFT为重点的这样的研发范式,转变成以预训练和强化学习为重点的方式——这个需要做很多不管是人才的储备还是研发方式的改变。然后可能还有就是从对话到agent,我觉得是一个重要的范式改变,这个东西会很影响我们实际的工作方式。"
再往细处看,他认为具体的技术决策——押注长上下文RL、做Muon优化器、做更大规模的预训练、做第一个开放的agentic模型——分量很重,直接决定了公司走向的大部分:
"我觉得我们在很多东西上的bet还是有效而且比较早的——比如像去做long context的RL,我们反应比较快;然后去做Muon优化器;去做更大规模的pre training;去做一个可能第一个open的agentic的模型。这些可能都是一些技术的bet,或者技术的决策,我觉得这个东西基本上会至少决定五六成公司的走向。但你要做很好的决策,其实还是需要很多证据支撑——你得了解很多具体实验的结果,很多时候其实你只要数据足够充分,它的这个判断也是比较显然的。"
问到过去一年是否走过弯路,他的回答是肯定的,并且用了一个很扎实的类比——牛顿力学在当时是最好的理论,但不是完美的理论:
"肯定有,就像我刚刚说的,你在这个过程中会有很多决策,有一些是技术决策,有一些是业务的决策。我觉得很重要的是,一个公司在这个过程中可能去逐渐调整的能力——就像知识创造也是这样的一个过程,你不可能创造出来的知识所有东西都是对的,你会发现有的东西它也是错的,但它在一定时间内可能是对的,然后在一定时间内可能是错的。比如说像牛顿做的很多东西,在他当时是最好的理论,但它不是完美的理论,它在一些场景下完全是错误的理论——万有引力需要有一些别的解释,你需要有相对论的解释,通过时空的扭曲去解释。我觉得组织的进化,或者一个公司的发展,它是一个动态的过程,任何的中间点在某些时间是对的,有些时间可能是错的。这个也是Kimi告诉我的——它说任何中间状态都会成为被批评的对象。"
心态与成长
关于心态,他反复用"还好"来回应各种情绪化的追问,直到主持人干脆直接问"你最近一次颅内自嗨是什么情境",他半开玩笑地引用了自己教给Kimi的一句话:
"我觉得他……不以物喜不以己悲,这是这是我跟Kimi说的,很难做到。就是可能多少肯定会(情绪化),因为你是一个人嘛,但是我是说可能避免一些情绪化的决策——最终落实到决策和执行上,还是要更理性一点。"
这一年最大的成长,他给出的答案回到了开篇那两句"刻在石头上的话":
"我觉得是说,认识到一个点,就是问题是不可避免的,它会一直存在,然后持续解决新问题——我觉得这个最重要,可能也是最有意思,觉得这个是一个心态上的变化,它当然可能会改变你很多做事情的方式。"
有没有比一年前更兴奋?他的答案很平衡——两股力量互相抵消:
"有两个因素,一个是说一方面也更适应这种状态,所以它会兴奋值减少;但另一方面,你发现AI的进展很快,你现在能力又提升了,所以兴奋值又增加。所以我觉得基本上可能维持在一个比较稳定的水平。"
产品哲学与商业模式
产品哲学上,他依然坚持"模型级产品"这个提法——训好模型,产品基本就做完了:
"假设你现在做一个agent产品,做的时候需要把模型跟工具和context结合起来,但你发现在训练模型的时候,你基本上已经要把这一套全部搭好,才有办法训这个模型。所以当你模型训完之后,你的产品已经做完了,你在上面做一些交互的东西,肯定也有很大价值,但它是最后锦上添花的一步——你模型的性能已经在训练过程中打磨好了,跟工具和环境已经有非常好的适配。"
商业模式方面,明确的路径是API和一方产品两条腿,但当前重心仍然是把模型做好:
"现在明确的商业模式,一个是API,一个是一方产品,这两个我们也都会去做一些尝试。但我觉得今天最主要的还是继续把模型做得更好,这个还是首要目标。但在把模型做得更好的过程中,比如你在某些方面领先了,其实是有商业化空间的——今天整体的市场规模其实涨得也很快,头部公司有几十亿上百亿美元的ARR,而且是在快速增长,可能每一两个季度就能翻个两三倍。"
对于用户担心Kimi赚不到钱这个直接质疑,他的回应是把不确定性收敛到一个变量上——模型效果:
"还是先投资嘛。能不能赚到钱取决于你的模型效果做得怎么样,我现在觉得这个市场是一个已经一定程度上被验证的市场,也在快速增长,所以还是专注把技术做得更好,剩下的东西我觉得确定性反而是更高。"
被问及"中国的OpenAI"到"中国的Anthropic"这类身份标签,他明确拒绝了这套框架:
"我觉得很难这样定义,因为中美它不太一样,而且今天我们更多的还是得站在全球的视角去思考这个问题。我觉得做中国的什么什么,可能本身它就不一定非常成立。我觉得还是简单一点——我们希望还是继续爬山,做时间的朋友,然后跟community一起去加速这个技术的推进,我觉得这是我们想做的事情。"
AI时代产品的独特逻辑
AI时代产品和移动互联网产品最大的区别,落在获客逻辑上——不能靠投流赢得战争:
"如果你是在技术快速发展的阶段,你很难说通过投流的方式去赢得这个战争,我觉得是很难的。但它可能更多是一个辅助的手段,这个辅助手段跟你主要的手段之间到底什么样的配比,可能是需要动态调整的关系,也取决于你现在商业化的进展,或者你的PMF到底有多强。"
那ToC用户本身还有没有价值?既然用户反馈不能直接拿去训练模型,杨植麟给出了两个仍然成立的理由——分布洞察和商业价值:
"你可能没有办法直接去使用一些用户的反馈直接拿去训练,但是你有一定的用户量的好处是在于,你知道整体的这个需求的分布是什么样,你大概知道有哪些可能是用户用的好、哪些用的不好,然后你再把这个东西抽象成一些evaluation,去优化这个模型。如果你这个模型完全没有人用,那你可能都不知道往哪里去优化。另外就是要看你这个用户的商业价值——我觉得现在其实又到了一个新的分水岭,你的用户其实是有可能能产生商业价值的,比如你看OpenAI,它To C端用户产生的商业价值是很大的,可能占了它营收比较大的比例,特别是现在很多agent的产品能端到端地产生很多价值,所以这个事情它就不完全一样了。"
产品交互本身也在随模型能力演进,他用coding这个垂类举了一条清晰的时间线:
"你看coding这个东西,一开始你有这个Copilot,Copilot之后有Cursor,Cursor之后有Claude Code,其实每一代交互都会发生变化——这个交互它其实是随着模型的变化而变化,当你有新的一代模型,它能力提升了很多,你就发现你的交互可以改了。你不再需要说我单个的人去点我要不要accept一个修改,而是说我可以去多步地执行一个agentic coding的任务。当然今天Claude Code的交互它也不是终极形态,因为模型还会提升,提升之后交互就会持续变化,我觉得是一个这样的过程。"
关于系统复杂性,他给出了一个"简单又复杂"的悖论式回答——通用性同时是简化和复杂化的来源:
"现在的系统复杂性在于,你想让这个模型变得通用,通用会带来很多复杂性。一方面可以认为它变简单了,你只要把所有东西都放在同一个模型里,不需要维护那么多模型,不需要搞一堆routing策略。但另一方面它也会变得复杂——你希望这个模型在各种场景下都可以工作,你不希望它只在你的工具集下能工作,希望别人用你这个模型,它在别的工具集、甚至没见过的工具上都能工作,这个要求是很高的。而且特别是现在agent需要很多步完成任务,随着步数变多,对通用性的要求是会更高的。"
他举了一个具体的例子——多模态能力不能伤害模型的"脑子":
"你想往模型里面加多模态的能力,就需要让这个多模态能力不要去损伤它的脑子——你希望在多模态模式下,跟文本模式共用一个脑子,能把文本的那个智商也激发出来,而不是进入另外一部分参数,完全丢掉原来在文本里学习的部分。"
他甚至用MoE架构举了个很直白的反例:
"比如你MoE里面,你的expert假设有20个expert专门在做多模态,你可能不希望这种情况出现——这样的话你可能学出来的多模态是个傻子,傻的多模态,我们希望它是个聪明的多模态。"
最后是模型公司和agent产品公司的长期关系——他坦承这个问题今天还没有确定答案,但用Claude和Cursor的关系类比给出了一个动态判断:
"今天看起来一方的产品有个好处,就是它可以做垂直的整合,因为我可以把模型放在这里面训练,模型跟工具融为一体,不是分开来做再逆向工程。但因为有非常多的agent空间,一方产品不一定做得过来——如果能找到一些空间,比如你这个工具的实现需要非常多的领域know-how,或者你的evaluation是一方产品根本不会考虑的东西,那我觉得是有机会的。就有点像Claude和Cursor的关系,Cursor它可能也要动态变化——一方面是能不能有一些模型能力,我的技术研发的曲线还是很陡峭;另一方面是能不能有一些别人做不到的工具或者环境。但这些都是一些现在没有办法直接回答的问题。"
九、AI作为人类文明的放大器
访谈快结束时,回到了整场对话最初打开的那个哲学命题。杨植麟提到自己曾经直接把这个问题抛给Kimi——AI对人类文明到底意味着什么:
"我也问过Kimi,它跟我说,这个东西是人类文明的放大器,我觉得很有道理——又回到那个《The Beginning of Infinity》,从启蒙运动到现在,人类一直在找到新的方法去突破知识的边界,但可能下一个突破边界的确实就是得靠AI,因为它是一个巨大的杠杆。你今天在任何一个前沿学科,要花几十年的时间才能学到最前沿的知识,但AI可能一夜之间就能学会,然后你就往下去做新的突破——AI它会成为一个Meta Science,我觉得这是很重要的、人类文明的放大器。"
访谈画面
那么风险呢?——它会不会反过来摧毁人类文明?他没有回避这个问题,态度是承认风险存在,但不能因此放弃:
"这点上,我觉得首先这个风险肯定,你不能说它不存在,但是我们可以有很多事情去做——不管是说更安全的对齐,还是更好的社会机制。我其实exactly问过Kimi这个问题,它说虽然有这样的风险,但我们可能不能放弃这个事情,因为你如果放弃这个事情,就等于放弃了人类文明的上限,你不知道它上限能做到什么样。"
他也坦承,这一年亲眼看到的AI能力进展,确实带来了某种震动:
"我承认,我们得做很多的事情去……特别是你今天看到很多AI能力,我觉得是有点震惊的,因为你根本半年前都想不到现在能做到这样的程度,需要做很多的事情。同时我认为,人的独特价值在这个过程中它还是会持续存在——人的体验、人的情感,这些东西是没有办法被AI去替代的,所以可能我们会有不同的活法,但希望是能活得更好。"
被追问"不同的活法"具体是什么,他给出了一个三分的人生意义框架,并且坦诚承认创造这一条未来可能大部分让位给AI:
"我之前觉得人的一生可能有几个不同的意义——创造、体验和爱。创造里面很大一部分也许有可能AI是可以做的,我还是很享受这个过程,但你不得不承认,有一天可能会有很多创造性的工作是AI去做。但我觉得后两条——体验和爱——可能还是会以人为中心。如果创造被拿走了,其实也无所谓,因为人可以享受这个生产的结果,如果我们有一个好的机制的话,还是要改变社会的机制,但它也是一个缓慢的过程,不会是一两年做完,可能要一二十年逐渐去调整。"
访谈的最后是一轮快问快答,杨植麟的状态肉眼可见地放松下来,也留下了几个很有信息量的细节:
- 全球范围内最喜欢的食物:拉面("为什么好吃"——没接住这个问题)
- 推荐必读书:《The Beginning of Infinity》("这有一本我刚刚一直在讲的")
- 心目中影响AI进程的几篇论文:Backpropagation、Transformer、GPT-3,以及作为"building blocks"很重要的ResNet("它可能是这个泛化的基础")和Adam / Muon
- 基于当下认知最关键的一个bet:泛化的agent——用innovation,用L4做L3
- 最后一个问题"最近的动物是什么",他的回答成了这场高强度对话最好的收尾:
"不知道,我感觉我脑子已经糊了,我已经把一年的话都讲了,没有办法,碳基生物的局限性。"
结语
一年前是"向延绵而未知的雪山前进",一年后,杨植麟给出的答案没有变得更笃定,反而更清楚地承认了这座山可能真的没有顶——但"问题不可避免、问题可以解决"这两句刻在石头上的话,构成了他这一年从技术决策到团队管理再到个人心态的统一底层逻辑。
本文基于 Zhang Xiaojun Podcast(张小军播客)对月之暗面创始人杨植麟的访谈《Kimi Founder Yang Zhilin: K2, Agentic LLMs, Brains in Vats, and the Beginning of Infinity》(2025-08-30 发布,时长约100分钟)音频转录整理,清理了口语赘词并做了结构化编排,尽量保留嘉宾原话的语气与中英夹杂的表达习惯。
视频观看:YouTube · 张小军播客