GPT

奥特曼在达沃斯经济论坛上参加了4-5项活动，披露的关键信息包括：

假如GPT-4目前解决了10%的人类任务，GPT-应为15%或20%。GPT-2很糟糕，3很糟糕，4也很糟糕，5应该是okay。如果比较第一代iPhone和最新iPhone15，会觉得设备完全不同，AI也是如此。GPT-5会朝着让人感到不舒服的方向发展。

早些时候，他在YC Winter 还建议创业者在2024年启动会上：

不建议解决当前GPT-4的局限性，其中大部分将在GPT-5中修复。

用GPT-5和AGI构建“相对较快”的思维产品，

此外，他还在与比尔盖茨的对话中透露：

强烈要求用户正在考虑为ChatGPT增加视频能力，但目前团队的主要焦点是推理。

目前GPT-4的水平只达到“解决某项任务”的水平，不能“替代某项工作”。因为任何人类工作都由许多“任务项”组成，解决任务不能支持一种工作。但如上图所示，人类的工作类型是分层的，随着人工智能能力的逐步提高，它是对任务和工作类别的持续替代。AI进步慢，替代慢，AI进步快(如AGI)，替代会突然加速。这可能是未来五年的叙事。短期内看不到商业价值并不意味着它一直是0和1。从量变到质变，人类任务越过及格线，直到AGI刺穿象限...

所以比尔盖茨说得很清楚，18个月后(2025年6月)，人工智能将广泛渗透到各个领域。UBS和Morgan Stanley对北美500强企业的CIO(首席信息官或技术官)进行了调查，结果还显示，AI在POC验证阶段对企业流程进行了改造，H2将在24年内看到更多的原型验证运行，进入实际生产流程，25年内才能大规模进入实际生产。为何是25年？因为在等两件事，1)GPT-5(或者不知道叫什么)的发布，将模型能力提升到更高的水平，解决幻觉问题、鲁棒性一致性问题、复杂推理能力问题；2)计算能力成本降低到之前的1/10。目前计算能力成本按每12-18个月除以10的速度降低，18个月后可以实现很多受成本限制的应用场景。

这里引申的关键问题是，1)下一代模型的能力如何；2)之后AI会不会遇到“撞墙”的瓶颈？

1）GPT-5(或其他名称)的能力提升幅度其实大概已经确定了。首先，它必须远离AGI，这是sam altman在圣诞节明确表示，看完之后就知道AGI意味着什么重量了，你会更加敬畏，甚至希望这个东西最好是科幻小说，以后再来。其次，GPT-5的能力下限至少应该比Geminini好 ultra强，如果只看纸面结果，大概可以推断多模态，增加视频生成能力(3D未知)、Long 与GPT-4相比，sequence更长的输入窗口显著提高了通用性和复杂推理能力，可能开始具有较强的planning能力。更重要的是，sam在达沃斯上的比喻是“如果GPT4完成了10%的人类工作，那么GPT5应该是15%或20%”。此外，根据常识，解决相同问题的计算能力成本可能比GPT-4降低一个数量级。

2）GPT-5之后会不会撞墙？GPT-使用Moe引起了对OpenAI单模型能力撞墙的质疑，但Moe更大的价值在于降低推理成本，更像是“优化”而不是“登月”。模型的瓶颈 1 这是关于transformer架构的争论，确实有微创新的可能。ilya在事件发生前的一次采访中提到，现有注意力机制的计算能力消耗过大，但他也提到了解决方案。但是你说RWKVV等新架构就像RWKVV、Mamba取代transformer？引用哥们的观点，龙头企业用脚投票，这是一个生态、资源、人才自我完善的过程，新结构的崛起有点困难，至少根据ilya、Anthropic 从Dario等领军人物的角度来看，transformer的潜力还有很大的挖掘空间。此外，从LSTM到transformer已经出现了20多年，即使架构的创新节奏加快了10年；

模型的瓶颈2：高质量压缩世界知识的数据是否已经耗尽。按照scaling 人工智能需要的数据是目前的五个数量级，以达到“能够写论文、独立做科研水平”的曲线。去哪里找？...视频等多模态数据的价值在于文本数据为现实世界提供的知识，但视频图片本身对世界知识的压缩率远低于文本，就像一本几百KB的书所包含的知识转化为视频可能是几个T。怎么办？

据sam达沃斯介绍，未来不需要那么多数据，质量更重要，数据培训效率也在提高(更少的数据提取更多的认知)，更多的epoch可以反复“咀嚼”。之前关于Q-star和Jim的猜测 Fan、Musk等人的评论表明，OpenAI很可能已经实现了合成数据的有效利用。甚至Anthropic的Dario也在播客中提到，“数据很可能不是限制因素。出于各种原因，我不应该详细说明，但世界上有很多数据源和生成数据的方法。”。这种合成数据指导方法可以与人类进化进行比较。在掌握语言之前，我们的灵长类祖先无法总结、细化、应用和积累认知和经验，但一旦人类发展语言，基因/文化就会共同进化 LLM 合成数据//self-play循环非常相似。另外，让我们做一个简单的比喻。我们读了成千上万本书，走了几千英里，看了成千上万的世界，就像电影《这个人来自地球》一样。一个人活了几百万年，几乎是一个行走的世界知识库。在这个时候，他需要这么多的输入来学习一门新知识吗？我们说“悟性”高的人是一点即通。为什么？由于过去的高质量训练，他建立了世界运行原则的底层“相关性”。这可能就是模型训练目前正在做的事情(难怪OpenAI说他们在building内部 god）。海涵财经

推荐关注

1.应用:(1)办公软件:金山办公、福鑫软件、彩讯股份

(2)多模式:万兴科技、美图公司、虹软科技、光云科技

（3）TOB：用友网络、金蝶国际、致远互联网、泛微网络、鼎捷软件、汉德信息

(4)金融、教育、医疗:科大讯飞、佳发教育、视觉股份、润达医疗、恒生电子、新致软件

2.基础设施:华为+海光算力产业链、云天励飞、星环科技、寒武纪、景嘉微