"如果所有人都觉得你很正常，那你肯定你就没有什么理想。因为你的理想肯定是大家都能想到的东西，那它就不是一个真正的理想——或者说，它对人类理想的总量就没有增量。"
2024 年初，张小珺在两轮融资的间隙采访了月之暗面创始人杨植麟。主访谈完成于 2024 年 1 月，过年期间 OpenAI 发布了 Sora，于是 2 月又补了一次访谈。
当时的时间坐标：月之暗面是国产大模型中最坚定做 to C、且只做 to C 的公司，2023 年 10 月推出智能助手 Kimi，是估值最高的中国大模型独角兽（投后估值超 25 亿美元），团队 80 人。在人人喊 PMF、人人喊商业化的中国 AI 生态里，这位 AI 研究员出身的创始人显得不太着急。
一、站在雪山的入口
问杨植麟最近状态怎么样，他说忙，但是个好状态——从前年年底开始就一直很兴奋。
"你就有点感受是说，你在一个产业的开端，有巨大的想象空间。有点像开车在路上，前面有很多延绵的雪山，但是你不知道里面是什么。你在一步一步往前走，每天都是很嗨的。"
访谈里有个闲笔：张小珺问他办公室门口为什么放着一架钢琴，钢琴上还有一张 Pink Floyd 的专辑。他说不知道谁放的，还没来得及问。这个细节放在整期节目里意外地合适——一家正在登月的公司，门口的钢琴没人顾得上问来历。
二、学术收敛：从"排序工具"到"唯一重要的问题"
杨植麟从大二开始做 AI，到现在十年出头。起初是发散的探索——做过图相关的、多模态相关的，直到 2017 年收敛到语言模型，"因为当时觉得它可能是一个比较重要的问题，到后来觉得它是唯一重要的问题。"
2017 年，AI 圈对语言模型的认知是什么？
"它是一个用来给语音识别做排序的模型。你识别完一段语音之后有很多结果，拿语言模型去看哪个概率更大。应用非常有限。但你发现它其实是一个很根本的问题——它在对这个世界的概率做建模。语言可能还是局限，它是世界的一个投影，但理论上你把 token space 做得更大，你就有一个通用的世界模型：世界上每一样东西怎么产生、怎么发展，你都能给它分配一个概率。基本所有问题都可以被归结成怎么对这个概率进行估计。"
他的两位博士导师，一位是苹果公司 AI 负责人，一位是 Google AI 首席科学家，都在产业界也在学界。从这个视角他看到一个趋势：有价值的突破会越来越多地产生在工业界。
读博期间，他 2018 年作为第一作者与图灵奖得主 Yann LeCun 合作发表论文，又与另一位图灵奖得主 Yoshua Bengio 合作；2019 年与谷歌、CMU 联合发表 XLNet。一个博士生怎么和图灵奖得主合作、还做第一作者？他的回答很平淡：
"可能就是运气比较好吧。学术界还是很 open，只要你有好的想法、有意义的问题。合作很重要，两个脑子或者 N 个脑子能做出来东西确实会比一个脑子更多。研发 AI 有个很重要的技巧叫 ensemble，本质上是在做一样的事情——很多 diverse 的观点在里面碰撞出新的东西。"
主持人问：搞定学术大佬和搞定资本大佬，哪个更难？他纠正了用词：
"搞定不是一个好的词，背后本质都是合作。合作就是双赢，双赢是合作的前提——你需要能够给别人提供独特的价值。"
三、AGI 需要新组织：lab 能产生 Transformer，产生不了 GPT
为什么科研机构、巨头的 AI lab 无法产生伟大的系统？杨植麟的判断直接：
"Lab 这个事已经是一个历史了。Google Brain 可能是之前产业界最大的 AI lab，但它本质上是把一个研究型组织安插在一个大公司里面。这种组织方式有可能探索出新的想法，但很难产生伟大的系统——它可能能产生 Transformer，但可能产生不了 GPT。"
他的推理是：开发方式变了。现在要做的是一个巨大的系统，里面需要新算法，也需要扎实的工程，甚至需要产品和商业化。就像二十一世纪初你不可能在实验室里研究信息检索——你必须在现实世界里有一个巨大的、有用户的系统，像 Google 那样去实现。科研系统的职能会逐渐变成以培养人才为主。
那 OpenAI 算这种新组织吗？
"我觉得它是现在最成熟的一个 AGI 组织。它是为了一个科学目标而打造的组织——但科学只是其中一部分，它其实是科学、工程和商业的结合。它应该是一个公司，不是一个研究院。AGI 需要新的组织方式，这是核心。"
这种新组织的核心特征，他用了自己公司的名字来解释：它应该是一个登月计划（moonshot），有很多自顶向下的规划，但规划中间又要留有创新空间——top-down 的框架下有 bottom-up 的元素。组织本质上要适配技术，技术决定生产方式，不匹配就没法有效产出。
主持人问了个尖锐的问题：Sam Altman 当时有一种选择是加入微软做 senior 的 AI team leader，他接了那个 offer 和在 OpenAI 做 CEO，本质差别是什么？
"你需要在一个旧的文化里面产生一个新的组织，这个难度是很大的。而且它的目标可能就不是 AGI 了——如果是在微软，就很难。"
四、不做"中国的 OpenAI"
"你是一心想做中国的 OpenAI 吗？"杨植麟否认了这个类比。
"我们不想做'中国的什么东西'，我们也不一定想做 OpenAI。真正的 AGI 肯定是全球化的，不存在一个由于市场保护机制导致你只能做某个 regional market 的 AGI 公司。起步于中国作为短期策略可以，但最终必然需要全球化。全球化、AGI、很大用户量的产品，这三个东西最终可能都是必要条件。"
但他认为 OpenAI 有非常值得学的东西——技术理想主义。
"你去看 17、18 年的时候，OpenAI 的风评是很差的。我们圈子里的人找工作一般会考虑 Google 这样的地方，但那时候基本上所有人都觉得 OpenAI 是疯子。很多人跟 Ilya 聊完之后觉得'这个人肯定是疯了'，或者觉得他太自以为是——不是疯就是骗子，完全不靠谱。但我觉得这正是一种技术理想主义。如果所有人都觉得你很正常，那你肯定没有什么理想——你的理想是大家都能想到的东西，那它对人类理想的总量就没有增量。"
技术理想主义的实质，是从很早的阶段就投入一个非共识，并在这个非共识上找到 AI 现在唯一真正 work 的基本原理——通过 next token prediction 去 scale。这是 OpenAI 巨大的贡献。
但他话锋一转："我还是觉得会有比 OpenAI 更伟大的公司存在。"
"一个真正伟大的公司，应该能结合技术理想主义，并且用一个伟大的产品去跟所有用户共创。AGI 最终会是一个跟所有用户一起 co-work 产生的东西——它不光是技术问题，也需要一定程度上功利主义的、现实的追求。最终要在这两个东西之间完美结合。这是下一代最伟大的公司需要具备的两个特质。"
五、Google 的一课：从无限的雕花中把自己释放出来
2018 年底，杨植麟在 Google 开始做基于 Transformer 的语言模型。问他从 Google 学到最多的是什么，他的回答很精炼：
"从无限的雕花中把自己释放出来，是一个很关键的事。你应该看到什么是大的方向、大的梯度。打个比方：你眼前有十条路，一般人考虑的是'我走这条路的时候前面有个行人我要怎么刹车'——都是短期的细节。但这十条路里到底选哪一条，可能才是最重要的事情。"
"雕花"是他的一个高频词，指代这个领域之前的方法论：
"你在一两百万个 token 的数据集上看 perplexity 怎么降得更低、loss 怎么降得更低，就会陷入无限的雕花。当时有人发明很多很诡异的 architecture、很诡异的正则化方式，这些都是雕花的技巧。雕完你发现这个数据集上变好了，但没有看到问题的本质。问题的本质是去分析这个领域缺少的是什么、它的第一性原理是什么。"
Scaling law 为什么能成为第一性原理？他的定义是：只要找到一个结构满足两个条件——足够通用（能把所有问题放进这个框架建模）和可规模化（投入足够算力就能变好）——它就是一个很底层的东西。
"当时有一句很重要的话我很认同：如果你能用 scale 解决的问题，你就不要用新的算法去解决它。新算法最大的价值是让它怎么更好地 scale。如果你这个东西能被一个更底层的东西解释，你就不应该在上层做过度的雕花。"
那 Google 是怎么贯彻这个第一性原理的？"我觉得他们没有贯彻得非常好。很多人的思维是好的，但他没有办法把它组织起来、变成一个真正的 moonshot——这里五个人在追求他们的第一性原理，那里五个人在追求他们的第一性原理，但这不是这个组织的第一性原理。没有一个 top-down 的东西。"
六、创业这一年：一个月的窗口，一晚的精确计算
ChatGPT 爆发那晚，杨植麟的反应是激动。
"你放到 2021 年，这个事情都是很不可思议的——让它写一段代码、给李白的古诗做注释，这种高阶的推理能力之前很难做到。我当时就一个感觉：这个市场会发生很多变量。一方面是资本的变量，一方面是人才的变量，这两个是你做 AI 的核心生产要素。如果这些变量成立，我们就有可能正儿八经搞一个公司来真的做这个事。"
2022 年 12 月底他开始筹备，之后去硅谷待了一两个月。那时的硅谷，early adopters 集中在技术圈，大厂员工开始用 ChatGPT 写 performance review——"平时写的语言感觉不大 professional，用完大家都是一本正经的样子"。圈子里的朋友纷纷开始想下一份工作去哪、要不要创业。"所有人都有很强的 FOMO 情绪，每天都睡不着觉。你不管晚上十二点一点两点去找人，always 大家都在想这些问题——有点焦虑、有点 FOMO，但是又很兴奋。"
在硅谷的一个晚上，他做了一个精确的计算。
"算一下你对应多少 FLOPs、要多少 training cost、inference、多少用户量。算完我觉得至少要在几个月内拿到一亿美元。当时市场上还有很多人没有开始，很多人觉得你不一定能融到这么多钱，但后来证明实际上可以，甚至比这个还多。"
Timing 是他反复复盘的关键词。融资的窗口极其短暂：
"我们 2023 年 2 月份开始很集中地做第一轮融资，这个窗口其实比较短。如果你 delay 到四月份去做第一轮，我认为基本上已经没有机会了；如果你是 2022 年十二月份或一月份去做，你也没有机会——当时还有 covid，大家还没反应过来。真正的窗口就是一个月。"
融资的节奏：2023 年 2 月第一轮，下半年第二轮，两轮融资加起来近 20 亿人民币，访谈时第三轮正在进行。"这个数没有那么重要，它很快就会被刷新。"他后来提到，头部公司每家融资额基本都在两三亿美元以上。招人紧随其后——三四月份是招人的窗口期，"很多人大概在三月份或四月份开始有一个 realization：这有可能是接下来十年唯一值得做的事情。"
团队搭建的思路经历过迭代。最早期的画像是直接找对口的 genius——"世界上真正的 AGI 人才非常有限，你有对模型动手术的能力、有训练超大规模模型的直接经验，就可以很快做出来。"后来开始补齐更多维度：产品运营侧的 leader 型人才，还有很多 animal——"可以把事情做得非常非常极致的人"。
"我们在很长一段时间是三四十个人的状态，现在八十人。我们刻意追求人才密度，不大希望有太多人——怎么用最少的人、最高的效率、用正确的方式做事。Google 现在好几千人在干这个事儿，如果把它砍成一百人、五十人，我觉得它可能很快就成功。公司的上限是人的上限决定的。"
至于卡（GPU）的问题，他的回答是"很多 back and forth"：市场动态变化，有一段时间很紧张，过段时间供应又变好，最夸张的时候价格每天都在变——"今天一台机器两百六，明天可能变成三百四，过两天又跌回来。"地缘政治（executive order）、生产批次、市场情绪都在扰动供求。"我们观察到很多公司已经开始退卡了，因为他发现不一定要自己去训模型。好消息是，接下来一两年，卡大概率不会成为很大的瓶颈。"
登月第一步：造一个火箭原型，点火试飞
七、长文本的赌注：新计算机的内存
月之暗面最高层面的决策是有技术 vision 的，杨植麟认为这是这类公司最大的优势。长文本（long context）的赌注在公司成立时（2023 年二三月份）就定下了，技术做了半年多，2023 年 10 月随 Kimi 一起发布。
为什么第一件事是长文本？
"因为它很本质。它是新的计算机的内存。老计算机的内存在过去几十年里涨了好几个数量级，一样的事情肯定会发生在新计算机上。它还能解决很多现在的问题：比如现在多模态架构里还需要 tokenizer，但当你有真正无损压缩的 long context 之后就不需要了——你可以把原始信号直接弄进去。"
再进一步，这是把新计算范式变通用的基础。旧计算机用 0 和 1 表示所有事情，万物皆可数字化；今天的新计算机还不行，"没有那么通用，是因为你的 context 不够"。第二点更关键——真正的个性化：
"AI 最终最核心的价值是个性化的互动，比上一代推荐引擎更加个性化。但个性化的过程不是通过微调实现的——不是说我今天专门为你调一个模型。它应该能支持一个很长的 context，这个 context 就是你跟这台机器所有的历史。这个 context 本质上定义了一种个性化的过程，而且无法被复刻。"
这个技术的可扩展空间有多大？"非常大。窗口的提升还有很长的路要走，可能还有几个数量级。但你不能只提升窗口、只看一个数字——几百万还是几亿的窗口没有意义。你要看窗口下面能实现的推理能力、faithfulness、instruction following 的能力。它不应该变成只追求单一指标的东西。"两个维度结合，"它可以 follow 一个几万字的 instruction，这个 instruction 本身可能就会定义出很多不同的 agent，做到高度的个性化。"
当时即便用 Claude 或 GPT-4 读英文文献，也未必能做得很好——这是 Kimi 提前半年布局换来的产品体验。"相比于今天看到一个 long context 的风口、赶紧召集两个团队用最快速度开发，会有很大的区别。马拉松还是刚开始，接下来会有更多差异化的东西呈现出来。"
Long context：新计算机的内存
八、追赶 GPT-4 与非共识新维度：最好的榜是用户
"国产大模型去年追赶 GPT-3.5、今年追赶 GPT-4，做的事情都差不多——你认可这种说法吗？"
"综合能力的提升肯定是很关键的目标，这个说法在一定程度上是对的——你是后发，那肯定是追赶的过程。但它也是片面的。除了综合能力之外，其实很多空间可以产生独特的能力，在一些方向做到 state of the art、做到真正的世界领先。"
他举的例子里藏着对 OpenAI 的评价：长文本效果 OpenAI 做得没那么好（"我们做了非常多的测试"）；DALL·E 3 的图片生成效果完败于 Midjourney V6。"可能会存在很多这种维度，这事儿得一分为二来看。"追赶 GPT-4 是必经之路，"但核心点是不能只满足于做到 GPT-4 的效果。一是想现在的真正非共识是什么——除了 GPT-4 之外，GPT-5 和 6 应该是什么样的东西；二是看你在这里面可能会有哪些独特的能力。"
为什么月之暗面从不刷榜？
"刷榜的意义已经很少了。最好的榜就是用户。你应该让用户去投票，让用户真正喜欢你的产品、喜欢由技术能力带来的产品体验提升。现在的很多榜存在非常多的问题。"
那"最快达到 GPT-4"是不是目标？早一点晚一点有区别吗？
"肯定有区别。你放到足够长的周期看，最终所有人都能达到。我认为半年或以上的周期是有意义的，同时也取决于你能利用这个周期去做什么事情。"
访谈里他首次透露了一个进度：2023 年初预测年底达到 GPT-3.5 水平，"但实际上我们九月份的时候内部就已经有一个比较明确的东西"——比预期更快。十月份产品发布。下一代模型"现在的进度也是超预期的"。
九、PMF 之辩与长期主义：没有长期，就错过整个时代
2023 年下半年，市场开始流传"大模型转冷"的说法。杨植麟不认同："我们下半年确实也完成了融资。大家的反应有快有晚：有人一开始就充满激情决定 all in，有人想了一下觉得要 all in，有人一开始觉得不行后来觉得还可以，有人可能直到今天还觉得'这玩意儿可能不成立'。"他看到的客观事实是：今天用到的模型能力，2023 年底都无法想象；AI 公司的用户量和 revenue 一直在上升。
上半年谈 AGI，下半年谈落地商业化——他自己没有变化。"肯定还是要做 AGI，这是接下来十年唯一有意义的事情。但不是说我们不做应用——'应用'听起来好像是你有一个技术、想把它用在什么地方、有商业化闭环。对我们来讲，它跟 AGI 应该是相辅相成的关系：它本身是你实现 AGI 的手段，也是实现 AGI 的目的。你要 combine 两种东西方的哲学——你要赚钱，还是要有理想。"
访谈前一天，张小珺刚采访了朱啸虎。朱的观点很鲜明：只投应用，核心就是 AIGC 的 PMF——"你十个人找不到这个 PMF，投一百个人也找不到，和人数和成本没有关系"。杨植麟的回应：
"AGI 的上限远高于我们现在看到的一切东西，所以还是得用长期的想法。AI 不是说我在接下来一两年找到什么 PMF，而是我接下来十年到二十年能够如何改变这个世界。PMF 固然重要，但如果着急去找一个 PMF，你很有可能最后发现又被降维打击了。"
"降维打击"他举了具体的例子：以前很多人做对话系统、客服系统、slot filling，有一些规模还不错的公司——"那就全是降维打击了，因为不会有人再用那种技术。而且今天还在变化的过程中：你有越来越长的 context、越来越强的 instruction following 能力，定制一个客服系统的难度会越来越低、准确率越来越高。这是百分之百的降维打击。"
他对产品增长的判断有个很妙的框架——user 的 scaling 和 model 的 scaling 应该同时做：
"像 Midjourney 今天为什么效果这么好？本质上是它在用户这端去做了 scaling。用户的 scaling 跟 model scaling 这两个事情需要同时做。你只关注应用、不关注模型能力迭代本身，空间也很有限。今天只做应用，可能过一年你发现就被碾压了、直接降维打击——它可以把底层模型偷偷换一个，你不可能做得比它更大。"
当然他也承认存在"只关注应用"的机会：从零到一相对可行、增量价值巨大、但从一到 N 空间没那么大的场景——Midjourney、文案生成都算。"但最大的机会不在这。即使你的目的是商业化，你也不可能脱离 AGI 去思考这个事情。"
怎么对抗国内的焦虑情绪——"做不出能兑现投资人预期的落地场景，怎么融下一笔钱"？
"就是一个长短期的平衡。如果你的东西完全没有用户、没有收入，肯定不行，它其实是一个螺旋。但你长期一定不能没有长期——如果你的能力没有得到更多的发展，你就会错过整个时代。你要在你能活下去的情况下，去追求一个长期的东西。"
对王慧文的"双轮驱动"，他认可一半："一定程度上是这个逻辑。但真正的区别是，能不能真的去做一些有概率的非共识——这需要你的组织真的是以这个为使命、而且是这样去运行的。"他解释什么叫"有概率的非共识"："用你的心去判断这个方向。它应该不是 OpenAI 已经做出来的东西——OpenAI 已经有的东西所有人都会去 copy，那就是共识。这个世界上大多数人只会去做'已经能看到能做成这样'的东西，那就不是非共识。"
至于落地焦虑，他给出的数据是：ChatGPT 有上亿周活，"你说它没有场景是不可能做到这样的周活的"；Kimi 的用户粘性很高——翻译、读论文、学习、准备考试、心理咨询，"很多自来水在 social media 上发他们怎么用，很多时候我们都没有想到"。
他顺便纠正了一个标签："我们不是学院派，学院派绝对不 work。做 to C 是从第一天就得做的决定。"
十、技术判断快答：LeCun、Hinton、开源与巨头
访谈后半段有一轮密集的"观点对观点"，值得整段保留。
关于 Yann LeCun
LeCun 在智源大会上说，不看好现有技术路线，自监督语言模型无法习得真正世界知识，并提出世界模型的观点。杨植麟的回应：
"我觉得其实没有本质的瓶颈。当你的 token space 足够大，你真的变成一个新型的计算机、解决通用性的问题，就 OK 了——token 能表示这个世界上所有的东西，它就是一个通用的世界模型。大家都能看到现在这个东西的局限性，但解决方式并不一定需要一个全新的框架。AI 唯一 work 的事情就是 next token prediction 加 scaling law，你只要 token 足够完整，实际上都是可以做的。他指出的问题肯定存在，但他是放大了那个局限性。"
关于 Geoffrey Hinton
Hinton 上半年反复呼吁 AI safety。为什么奠基人突然出来"唱反调"？
"我觉得 safety 反而表明了他对接下来技术能力的提升有极大的信心——因为你觉得这个事大概率能做出来，你才会觉得它的安全性是个问题。如果你觉得它永远就是个人工智障，你就不可能会跳出来说 safety 的问题。"
关于幻觉
"还是 scaling law。唯一 work 的就是 scaling law，只是你 scale 的是不一样的东西。幻觉这个问题，2022 年底完全没法看，到今天我觉得至少已经有数量级的降低。"
关于开源追不上闭源
"因为开源的开发方式跟以前不一样了。以前是所有人都可以 contribute 到开源里面，现在开源本身还是一个中心化——它需要资源、需要人才的聚集、需要资本的聚集，那最后它就是闭源更好，它会是一个 consolidation。另外一个角度：我今天有一个很领先的模型还开源出来，那大概率是不合理的。"
关于上一代 use case based 的创业者和投资人
"最大的区别是这里面会是更加技术驱动的方式。还是那个马车和汽车的问题——你应该尽可能想怎么给他提供一辆汽车，而不是在马车上加个发动机。"
关于陆奇的观点
陆奇说 OpenAI 未来肯定比 Google 大，只是大一倍、五倍还是十倍的问题。
"未来最成功的 AGI 公司肯定会比现在所有公司都大，这个点没有什么疑问——它最终可能是个 double、triple GDP 的事情。但它不一定是 OpenAI，有可能是别的公司。肯定会有这样的公司。"
关于巨头的关系
竞争也有合作。"巨头的第一目标跟 AGI 公司的第一目标是不同的，第一目标会影响你的很多动作、影响结果。"巨头为什么撒胡椒面式投资而不重注一家？"这是个阶段问题。下面会有更多的 consolidation，会有更少的公司。"模型公司的终局是被巨头收购吗？"他们有可能是可以有很深入的合作关系。"
十一、Sora：视频生成的 GPT-3.5 时刻
第二次访谈的主题是 Sora。多少在意料之中、多少在意料之外？
"从效果上看，generative AI 能做到这个效果还是在意料之内。比较意外的是时间——比之前预估的要更早一些。这反映了 AI 的发展确实很快，有很多 scaling 的红利还没有被完全吃下来。"
能力上，Sora 解决的最关键问题是什么？"能在一个比较长的时间窗口内保持生成的一致性，我觉得这是个巨大的提升。"对产业格局的意义：短期是生产环节的效率提升；"更期待的是在这个能力基础上的延展，包括跟其他模态相结合——它本身是对这个世界进行建模，有了这个知识，对现有的文本是非常好的补充。在这个基础上，不管是 agent 还是跟物理世界的连接，应该都有很多新的空间。"
月之暗面本来也在筹划类似方向，所以方向上没有太大意外，"更多的是技术细节和效果，对我们有很多学习、借鉴和启发。"
关于那篇《Video generation models as world simulators》报告，他的阅读方法很实在："最重点他肯定都不会写出来——出于竞争格局的考虑。但还是很值得学习。这个东西本来是个'付费内容'，你可能要花钱做很多实验才知道，现在有一些你不用花钱做实验就大概有个认知。"他从报告里提取的最重要信号是："这个东西一定程度上是 scalable 的，这可能是个比较重要的结论。"
报告里那句"扩展视频生成模型是建立通用物理世界模拟器的一种有前途的途径"，他非常认同："本质上这两个东西优化的是同一个目标函数，没有什么太大的疑问。"
主持人又搬出了 Yann LeCun——这次 LeCun 说"通过生成像素对世界进行建模是一种浪费，并且注定会失败"，还问他 LeCun 是不是嫉妒。杨植麟给出了全篇最硬核的一段技术分析：
"我觉得没有本质的区别。你通过对视频的边际概率进行建模，本质上是在做无损压缩，跟语言模型的 next token prediction 没有本质的区别。只要你压缩得足够好，就可以把这个世界里可以被解释的东西进行解释。"
"可以理解成有两种不同的压缩：一种是压缩原始的世界——这是视频模型在做的事；另一种是压缩人类产生的行为——人类产生的行为经过了人的大脑，而大脑是现在这个世界上唯一能产生智能的东西。视频模型在做第一种，文本模型在做第二种。视频模型也一定程度上包含了第二种，因为人创造的视频里包含了很多创作者的智能。最终可能会是一个 mix，你需要从不同的角度去学习，对智能的增长都是有帮助的。生成有可能并不是目的，它本质上只是在压缩这个函数。如果你压缩得足够好，生成的效果就会很好；反过来，生成非常好可能是压缩非常好的一个必要条件。"
两种压缩：压缩原始的世界，与压缩人类产生的行为
Sora 和 ChatGPT 相比，哪个 milestone 更重大？
"都很重要。我觉得（Sora）现在有点像是 GPT-3.5——阶跃式的提升，但同时它的模型还比较小，可预见的会有更大的模型。"
至于 Gemini 和 Sora 的路线差异："Gemini 是去 follow GPT-4V 的路线，把理解也放进去了。都很重要，最终需要把这些东西放在同一个模型里面——这是现在还没有解决的问题。"为什么难？"因为大家还不知道怎么做，还不存在一个被验证过的 architecture。"他自己也指出，DiT 今天的 architecture 可能仍然不是非常通用的东西："对视觉信号的边际概率建模可以做得非常好，但怎么泛化成一个通用的新计算机，肯定还需要一个更 unified 的 architecture。"
Sora + GPT 会产生什么？
"如果你能跟语言模型结合起来，就有可能打通物理世界——打通数字世界和物理世界，更加端到端地完成更多任务。极端一点想象，你有可能去完成一些需要物理世界才能完成的任务，比如自动驾驶、做家务。数字世界的突破基本上是确定的，但它也存在通往物理的可能。"
十二、两个世界与 2024
"我们这边还在追 GPT-4，GPT-4 还没赶上，Sora 又来了。两个世界好像差得越来越远，你焦虑吗？"
"这是客观的事实，但我觉得实际上的差距可能还在缩小，因为这是技术发展的规律——先是技术曲线比较陡峭，然后慢慢会放缓。OpenAI 一直在做下一代模型，客观上的差距肯定会持续存在一段时间，甚至国内不同公司之间的差距也会持续存在，因为现在就是技术爆发期。但如果再过两三年，中国顶尖的公司有可能在这里面做好更多基础性的工作——技术的基建、人才的储备、组织文化的沉淀。有了这些打磨之后，接下来两到三年内，更有可能在某些方面有领先的可能性。这个事情需要一定的耐心。"
中美会形成完全不一样的 AI 科技生态吗？"从产品和商业化角度讲，生态有可能不一样；但从技术角度讲，通用能力大概率还是一样的技术路线——它这个东西就是通用的，你很难说通用跟通用之间有什么区别。在通用能力的基础上去有差异化，这是更可能发生的。"
2024 年对国产大模型的三个预测：
- 新的独特能力——会看到国产模型在某些维度做到世界领先；
- 用户量级更大的产品——非常大概率；
- 进一步的 consolidation 和路线选择的分化。
对全球的预测："今年肯定还会有更多的 capability 出现，但格局上可能不会跟今天有太大差别，top 的这几个还是会领先。很多会来自 OpenAI——它肯定还会有下一代模型，4.5 和 5 反正也是大概率事件。视频的生成模型肯定还能继续 scale。"
硅谷的经典争论——通用模型处理各种任务，还是专门的小模型处理特定任务？他的回答没有一丝犹豫："我觉得是第一个。中美在这一点上不会不一样。"
几个收尾的问答，按照访谈顺序原样保留：
- 拿到最后一笔钱会怎么用？"我希望这永远不会发生，因为我们未来还需要很多钱。"
- AGI 发展下去最不想看到什么？"我还是比较乐观的，它可以让人类文明往下一个阶段去发展。"
- 如果你成了这家 AI 帝国的 CEO，会做什么保护人类？"现在想这个问题可能还缺少一些前提条件。但我们肯定愿意跟社会里面不同的角色去合作，包括在模型上有更多安全的措施。"
- 会觉得孤独吗？"我觉得还好，因为我们还有大几十一百号人一起在战斗。"
- 最想知道的问题是什么？"我不知道 AGI 的上限是什么样，它会产生一个什么样的公司，这个公司能产生出来什么样的产品。这是我现在最想知道的事。"
- 创业最怕什么？"往前冲啊。如果没做成——我觉得要接受这个事情有失败的概率。这已经运气很好了，我会感激有这样的机会和过程，这个事情已经完全改变了我的生命。"
写在最后：登月第一步
请杨植麟用几个比喻形容创业这一年的状态，他想了想说：
"登月。现在可能走了第一步：造了一个火箭的原型，点火试飞，积累了一个团队，弄清楚了一些原料的配方，还能看到一个 PMF 的雏形——可能就是这样的一个状态。"
这一年也有颠簸，"但比想象中的好，很多事情反而在预料之内"——模型能力、long context、团队、融资、卡，最后看结果，很多符合或超过预期。这大概就是"有概率的非共识"的兑现方式：方向是非共识的，但兑现是大概率的。
两个大 milestone 还在前面：一个是真正的统一世界模型——统一各种不同模态的、scalable 和 general 的 architecture；另一个是在没有人类数据输入的情况下，AI 持续进化。"剩下很多问题都是这两个因素可以推导出来的。reasoning、agent 这些问题，都是这两个问题解决之后的产物——可能要做一些雕花，但没有 fundamental 的 blocker。"
毕竟他说过，只有一个颠覆性的东西，才配得上 AGI 这三个字。
本文基于「张小珺商业访谈录」《和杨植麟聊大模型创业这一年：人类理想的增量、有概率的非共识和Sora》的完整转录整理，清理了口语赘词并做了结构化编排，尽量保留嘉宾原话的语气。原始发布：2024-08-17（访谈完成于 2024 年 1 月与 2 月）。完整内容请观看原视频。
视频观看：YouTube · 张小珺商业访谈录
