🧠 技术判断
1
热点
"我觉得 Sora 现在有点像是 GPT-3.5——阶跃式的提升，但模型还比较小，可预见的会有更大的模型。"
Sora 最让他意外的是时间而非效果——"有很多 scaling 的红利还没有被完全吃下来"。最关键的技术突破：能在一个比较长的时间窗口内保持生成的一致性。这是他给 Sora 的历史定位：视频生成的 GPT-3.5 时刻。
2
技术
"生成有可能并不是目的，它本质上只是在压缩这个函数。生成非常好，可能是压缩非常好的一个必要条件。"
回应 LeCun"生成像素是浪费、注定失败"：对视频边际概率建模本质上是无损压缩，跟 next token prediction 没有本质区别。世界上有两种压缩——压缩原始的世界（视频模型），和压缩人类产生的行为（文本模型，因为大脑是世界上唯一能产生智能的东西）。最终会是一个 mix。
3
技术
"AI 唯一 work 的事情就是 next token prediction 加 scaling law。token space 足够大，它就是一个通用的世界模型。"
回应 LeCun 智源大会演讲（不看好现有路线、自监督模型无法习得世界知识）："没有本质的瓶颈，他放大了那个局限性。解决方式并不一定需要一个全新的框架。"幻觉怎么解？"还是 scaling law，只是你 scale 的是不一样的东西——2022 年底完全没法看，现在至少数量级降低。"
4
技术
"长文本是新的计算机的内存。老计算机的内存几十年涨了好几个数量级，一样的事情肯定会发生在新计算机上。"
月之暗面成立第一天就押注 long context：真正无损压缩的长上下文可以干掉 tokenizer、让新计算范式变通用，还能实现真正的个性化——"不是为你微调一个模型，而是支持一个很长的 context，这个 context 就是你跟这台机器所有的历史，无法被复刻"。窗口还有几个数量级可涨。
5
洞察
"Hinton 谈 safety，反而表明他对技术能力的提升有极大的信心。"
"因为你觉得这个事大概率能做出来，你才会觉得它的安全性是个问题。如果你觉得它永远就是个人工智障，你就不可能会跳出来说 safety 的问题。"——对 AI 悲观派最巧妙的一次反向解读。
6
技术
"开源追不上闭源。现在开源本身还是一个中心化——它需要资源、人才、资本的聚集，最后闭源更好，它会是一个 consolidation。"
"以前所有人都可以 contribute 到开源，现在开源的开发方式跟以前不一样了。另一个角度：我今天有一个很领先的模型还开源出来，那大概率是不合理的。"
💡 理想主义与非共识
7
金句
"如果所有人都觉得你很正常，那你肯定没有什么理想——它对人类理想的总量就没有增量。"
17、18 年的 OpenAI 风评极差，"所有人觉得他们是疯子，不是疯就是骗子"。但这正是技术理想主义：从很早的阶段投入一个非共识，并在上面找到唯一真正 work 的基本原理。这是杨植麟认为 OpenAI 最值得学习的地方——"但我们不想做中国的什么东西，也不一定想做 OpenAI"。
8
金句
"只有一个颠覆性的东西，才配得上 AGI 这三个字，否则我们今天所有说的都没有意义。"
"你比传统搜索引擎好个百分之十、百分之二十，这种没有什么太大的价值。智能永远是最核心的增量价值——如果产品核心价值只有百分之十二十来自 AI，那这个事不成立。"
9
金句
"AI 不是说接下来一两年找到什么 PMF，而是接下来十年到二十年能够如何改变这个世界。"
正面回应朱啸虎"只投应用、只找 PMF"的观点：着急找 PMF，最后很可能被降维打击——以前的客服系统、slot filling 公司全是降维打击的牺牲品。"AGI 的上限远高于我们现在看到的一切东西。即使你的目的是商业化，也不可能脱离 AGI 去思考。"
10
洞察
"你长期一定不能没有长期——如果能力没有得到更多发展，你就会错过整个时代。"
怎么对抗国内的投资人焦虑？"长短期平衡。完全没有用户没有收入肯定不行，它是个螺旋。但你要在能活下去的情况下，去追求一个长期的东西。"对王慧文"双轮驱动"认可一半：真正的区别是能不能做有概率的非共识——OpenAI 已经做出来的东西所有人都会 copy，那就不是非共识。
11
洞察
"刷榜的意义已经很少了。最好的榜就是用户。"
国产大模型公司热衷排名，月之暗面从不刷榜。"让用户真正喜欢你的产品、喜欢由技术能力带来的产品体验提升，这才是更本质的。现在的很多榜存在非常多的问题。"追赶 GPT-4 是必经之路，"但核心是不能只满足于 GPT-4——GPT-5 和 6 应该是什么样的东西？"
🚀 创业这一年
12
内幕
"如果你 delay 到四月份去做第一轮，我认为已经没有机会了；十二月份去做也没有机会。真正的窗口就是一个月。"
2023 年 2 月是国内融资的唯一窗口：再早大家还没从 covid 里反应过来，再晚资本情绪已变。两轮融了近 20 亿人民币，第三轮进行中；招人窗口紧随其后（3-4 月）——"很多人那时才有一个 realization：这可能是接下来十年唯一值得做的事情。"
13
内幕
"我在美国一个晚上做了一个精确的计算——至少要在几个月内拿到一亿美元。"
ChatGPT 出来后他在硅谷待了一两个月，目睹大厂员工用 ChatGPT 写 performance review、所有人 FOMO 到睡不着觉。一晚算清 FLOPs、training cost、inference、用户量，得出融资目标。"算完我也不能跟太多人说，因为说了也没人觉得这事可以做。"
14
组织
"Google 几千人在干这个事，砍成一百人、五十人，我觉得可能很快就成功。公司的上限是人的上限决定的。"
80 人团队，刻意追求人才密度。人才画像经历迭代：早期只要能对模型"动手术"的 genius，后来补齐 leader 型人才和 animal——"可以把事情做得非常非常极致的人"。
15
组织
"Lab 已经是一个历史了。它可能能产生 Transformer，但产生不了 GPT。"
为什么 AGI 需要新组织：Google Brain 本质是把研究型组织安插在大公司里，能探索新想法、很难产生伟大系统。OpenAI 是最成熟的 AGI 组织——"科学、工程和商业的结合，它应该是一个公司，不是一个研究院"。Sam Altman 若加入微软做 senior leader？"在旧文化里产生新组织难度很大，而且目标可能就不是 AGI 了。"
🌍 格局与预言
16
格局
"真正的 AGI 肯定是全球化的，不存在一个 regional 的 AGI 公司。"
"起步于中国可以作为短期策略，但最终必然需要全球化。全球化、AGI、很大用户量的产品，这三个最终可能都是必要条件。"关于巨头关系："第一目标不同会导致结果很大区别。巨头撒胡椒面式投资是个阶段问题，下面会有更多 consolidation、更少的公司。"
17
对比
User scaling
- Midjourney 效果好的本质
- 用户共创、发现新场景
- 用户数据反哺模型
Model scaling
- 模型能力持续迭代
- 不做就被降维打击
- "它可以把底层模型偷偷换掉"
"用户的 scaling 跟 model scaling 这两件事应该同时做。只关注应用、不关注模型能力迭代，空间很有限——今天只做应用，过一年可能就被碾压了。"
18
格局
"实际上的差距可能还在缩小——技术曲线先是比较陡峭，然后慢慢会放缓。"
GPT-4 没追上、Sora 又来了，焦虑吗？"这是客观事实。差距会持续存在一段时间，但过两三年，中国顶尖公司做好技术基建、人才储备、组织文化之后，更可能在某些方面领先。"2024 三大预测：国产模型某些维度世界领先、更大用户量级的产品、进一步 consolidation 与路线分化。