黄仁勋:人工智能的下一波计算“理想应用”

在ITF World 在2023年半导体会议上，英伟达创始人兼首席执行官黄仁勋介绍了英伟达的多模态智能系统NvidiaVIMA，可以在视觉文本提示的指导下执行复杂的任务，获取概念，理解边界，甚至模拟物理，标志着人工智能能力的显著进步。黄仁勋说芯片制造是芯片制造 Nvidia 加速和 AI 人工智能的下一波计算“理想应用”将是“具体智能”（Embodied Intelligence）（embodied AI）。根据黄仁勋的描述，新型人工智能——“具体人工智能”，即能够理解、推理和与物理世界互动的智能系统。此外，在特斯拉召开的2023年年度股东大会上，马斯克展示了人形机器人Optimus的全新型号，几乎等同于特定的智能机器人。马斯克说，人形机器人将是特斯拉未来的主要长期价值来源，他也认为以特定智能机器人为代表的产品有望成为人工智能的下一波浪潮。目前，国内政策也加大了智能领域的发展力度。北京市发布了《北京市促进通用人工智能创新发展的若干措施》(2023-2025) 年)(征求意见稿)提出在开放环境、泛化场景、连续任务等复杂条件下，探索具体智能、通用智能体、脑智能等通用人工智能的新路径，包括促进具体智能系统的研究和应用，突破机器人的感知、认知和决策技术。01具体智能行业概览

根据“视觉求索” 文章，朱松纯教授将 AI 归纳为六个子领域：1)计算机视觉(包括模式识别，图像处 理等）；2)自然语言理解与交流(包括语音识别合成和对话)、3)认知与推理 (包括物理和社会常识)；4)机器人学(机械、控制、设计、运动规划、任务规划 等）；5)游戏与伦理(多代理人) agents 互动、对抗与合作等。)；6）机器学习 (统计建模、分析工具和计算方法)。人工智能是许多概念的总和，有些概念难以测量和验证，如让机器理解什么是社会，什么是责任，虽然可以输出一个表征，但很难测试机器是否真正理解这些概念，所以可以在一些可验证、可测量的概念上做一个闭环，具体的智能只是这样一个闭环，是一个很好的起点。具体智能是指能够与环境互动、独立规划、决策、行动和执行能力的机器人或模拟人，也称为“具体智能机器人”。具体智能是指能够与环境互动、独立规划、决策、行动和执行能力的机器人或模拟人，也称为“具体智能机器人”。它的实现包括计算机视觉、自然语言处理、机器人学等人工智能领域的许多技术。一般来说，智能机器人首先应该能够理解人类语言；其次，分解任务，规划子任务，识别移动中的物体，与环境互动，最终完成相应的任务。智能机器人涉及软件工程、自然语言处理、物理学(模拟)等多个学科、生物医学等。多学科最终汇聚成宏大系统，共同推动特定智能机器人的进一步发展。具体智能和非具体智能的区别在于，它们可以独立学习环境交互，产生对客观世界的理解和转变，而不依赖手动数据标记。1950 年，图灵在他的论文中《Computing Machinery and Intelligence》第一次提出具体智能的概念。在接下来的几十年里，具体智能作为一个非常重要的概念，并没有取得很大的进展，因为当时的技术还不足以支持它的发展。如今，多学科技术已经改变了这种状况。智能研究已广泛应用于教育、材料、能源等领域， 成为未来新一代人工智能理论和应用突破的重要窗口。清华大学刘华平教授等人在《基于形式的具体智能研究》中： 总结了国内外多方面的研究，提出了历史回顾与前沿进展：具体智能（Embodiedintelligence）相对于离身智能 （Disembodied intelligence）更加注重“互动”， 也就是说，智力受大脑、身体和环境协调的影响， 在身体和环境的相互作用下， 连续动态地产生信息感知和物理操作过程。有望在未来取得突破的发展方向包括形态出现、感知进化、物理实现、多体协同等。具体智能未来有望取得突破的发展方向包括形态出现、感知进化、物理实现、多体协作等。刘教授和其他人也强调，虽然具体的智力非常重要，但它有自己的局限性，并与离开智能紧密结合 是实现通用智能的必由之路。斯坦福大学计算机科学教授李飞飞认为，它的意义不是身体本身，而是与环境互动以及在环境中工作的总体需求和功能。交互最直接的障碍是人们严重依赖手写代码来控制机器 器人。陆策吾教授是上海交通大学的机器之心 AI 科技 主题演讲发表在年会上 提出了“具体智能” PIE 该方案认为具体的智能包括 3 模块：具体感知（Perception）、具身想象（Imagination）和具身执行（Execution）。1、具体感知：包括全概念感知和具体交互感知。全概念感知是指能够知道我们操作的世界模型（world model）各种与操作相关的知识，包括外观、结构、语义，以及 48 真实世界的关节体类别等。2、具体想象:有了感知材料，下一步就是决定怎么做。上海交通大学成名了 为 RFUniverse 该模拟引擎支持模拟引擎 7 物体(如关节可移动和柔性) 透明，流体...)、87 模拟种原子操作。还成功探索了从视频到机器人的行为：向机器人展示 50 看完一个场景，你会在模拟引擎中尝试类似的事情，然后在尝试后迁移到真机上。另外，这套思路也可以放在人体的康复上，做医疗护理机器人。3、具体执行：想象与实际操作之间存在差距。希望在PIE方案中建立一个元操作库，可以调用各种元操作来解决实际操作问题。目前，计算机视觉、机器人学和计算机图形学有三个领域。02智能产业机会前瞻性

有望打开具体的智能 AI 引领人工智能下一波新空间。实现具体智能需要多学科的交叉能力。目前，数字基础设施、机器人制造、机器视觉、多模式大模型制造商等相关环节的投资机会值得关注。机器人制造：为特定智能提供机械身体和基本的运动控制。深度学习：本学科中的神经网络仍然是具体智能的主要工具。为具体智能提供推理能力；从环境反馈中加强学习，帮助具体智能调优模型。多模态：计算机视觉，为特定智能提供视觉信号处理能力；语音和自然语言处理，为特定智能提供理解和对话能力，实现与人类的互动。计算机图形学：其开发的物理仿真环境为特定智能提供了真实物理世界的替代品，大大加快了学习速度，降低了成本。理解科学：帮助特定的智能理解人类，建立理解和价值。03具体智能机器人：AI终极载体

智能的出现有望继续引领“大模型+机器人”的潮流。具体智能机器人是具体智能的物理形式，有望成为 AI 最终载体。其整体结构由感知层、交互层和运动层组成：工业机器人主要根据控制系统发出的指令信号完成任务，主要依靠机器人的执行层。与工业机器人不同，如果智能机器人能像人一样与环境互动、感知、决策和完成任务，就必须提高感知和认知能力。因此，感知层和认知层是工业机器人向特定智能机器人迈进的门槛。感知层

感知层类似于人的面部特征，负责收集环境信息，机器可以在单一场景中绕过决策控制。视觉在感知层中的重要性很高，视觉感知是智能机器人的核心。从人体感官的角度来看，80%的信息获取来自视觉。根据童仁智能吴一明博士的分析，感知层面的核心在于视觉感知。主要原因是感知层需要与运动层互动确认：首先，视觉感知需要与物理存储进行互动确认，这是智能实现的基础。提高感知能力可以使机器人运动更加“拟人化”：视觉感知通过与运动系统的执行参数和信息数据的交互修正，将特定机器人从传统的僵化肢体运动提升为高自由度、高精度、多表现形式的运动。机器视觉和多态语言大模型的快速迭代有望大大提高机器人的感知能力和认知能力。交互层

作为核心处理枢纽，决策交互层需要类似于人脑的处理能力，以满足机器理解指令和分解的需要 任务、规划子任务、识别对象完成人机交互和环境交互的需求、多维人机交互 在传统的机器人领域是一个大问题。因此，目前的研究更多地体现在特定指令下对环境交互的探索上，即如何更智能地执行特定的物理任务。GPT-4 机器人对现实世界中图像、文字和数据的理解已经进入了一个新的水平。根据微软的最新研究，将GPT扩展到机器人领域，实现语言控制机械臂、无人机等平台。多模态的引入扩大了交互的丰富性，大大提高了人机交互和环境交互能力，帮助了机器人能力 力再上新台阶。未来有望在自动驾驶、工业自动化、医疗卫生、家庭服务、教育、娱乐等多个领域应用更多的场景，帮助人类实现极端的环境运作，降低多个领域的成本，提高效率。可以进一步关注硬件机器人的类型和应用场景，可以用大型模型进行改造。包括服务机器人、工业机器人和复杂场景下的人形机器人。特斯拉推出的人形机器人Optimus、波士顿动力的Atlas和Spot具有接近特定智能的能力。它们可以通过机器人的身体模拟人类或动物的行为和动作，更逼真地与人类互动。在算法方面，特斯拉的Dojo 人工智能超级计算机项目用于特定智能模型的加速培训和推理。英伟达的多模态VIMA可以驱动机器人识别物体并采取行动。从长期潜在需求来看，特定智能机器人在制造业、国内服务、商业服务等领域都有潜在需求。未来，特定智能机器人的需求将远远超过当前工业机器人的需求。随着技术突破带来性价比的提高，未来智能渗透率有望加快，行业想象空间巨大，1000亿蓝海有望开启。从长远来看，未来具体的智能+人形机器人可能会成为通用人工智能的发展方向。04多模式大模型：人工智能核心发展趋势

人工智能模型从单模态演变为多模态，预计将实现认知智能，这是人工智能未来发展的明显趋势。

目前，谷歌Gemini和Pika 1.0和以AI为代表的多模态模型不断突破，或者推动大模型应用领域加快落地，打开商业空间。

作为人工智能的重要应用，具体智能需要多复合模型能力。

阿里巴巴张勇说，制造业 AI 未来大模型的重要战场 10 一年中最大的机会是云，AI 与物理世界机器的融合。

除了单一领域模型的深度发展，如视觉和自然语言处理外，多模态大模型的支持可能成为下一个重要的应用方向。AIGC 为智能突破技术瓶颈提供新思路。AIGC的“智能”表现在能够理解和感知上下文，输出文本、图像和声音。进入 AIGC 时代后，GPT 预计大型模型将成为人类与机器人交流的桥梁。即通过 联合训练图像、文本和具体数据，引入多模态输入，增强模型对真实对象的理性 帮助机器人处理具体的推理任务。AI 谷歌、微软、 阿里等巨头都在努力探索阿里等巨头 人工智能大模型与特定智能的融合。目前，许多大型工厂已经在特定的智能领域进行了布局，谷歌发布了历史上最大的通才模型 PaLM-E；如何探索微软 ChatGPT 扩展到机器人领域；阿里巴巴-千问大模型 工业机器人的实验接入等。让大模型成为机器人 基于自然语言实现机器人控制的“大脑”可能成为未来的热门研究方向。前微软全球执行副总裁陆奇博士在演讲中提到，我们现在在哪里 在“模型”新范式之后，下一个范式的“行动”范式是自动驾驶、机器人和空间计算的 在物理空间的组合中创新范式。所以继 LLM(大语言模型)之后的下一个范式必须是机器 从目前的时间节点来看，硬件实体机器人也是大模型的重要着陆场景。与非智能普通人形机器人相比，具有更高的工作效率，具有理解力、互动性、规划能力等。机器人进入千行万业后，具有很强的实用性。随着技术的突破带来性价比的提高，未来智能渗透率有望加快。精选乐晴智库