未来身体智能+人形机器人可能会成为通用人工智能的发展方向

最近，英伟达宣布成立新的研究部门——“GEAR“全称为通用特定智能体研究”（Generalist Embodied Agent Research）， 专注于通用特定智能体的研究。新部门由 AI 高级研究科学家， AI 代理计划负责人Jim Fan和 Yuke Zhu 共同的教授旨在构建适合虚拟和物理世界的特定智能身体的基本模型，并致力于实现跨多模态和多场景的智能应用。英伟达在智能机器人领域的布局集中在三个核心领域：大模型、数据和开发平台。其最终目标是建立机器人的底层开发生态系统，抓住产业链的价值制高点，使其他原始设备制造商能够加快产业的实施。此外，英伟达将于3月18日至21日举行 GTC 2024 会议将发布加速计算和生成 AI 以及机器人领域的最新突破 性成果。GTC（GPU 技术会议)被公认为世界顶尖 AI 盛会，有着 “年度 AI 被称为“风向标”，是英伟达每年最重要的发布平台之一。自黄仁勋在 2014 年 GTC 英伟达自主题演讲首次强调机器学习以来，一直在行走 AI 革命的前线。本届 GTC 会议是五年来首届线下会议 GTC，生成了两个焦点话题 式 AI、机器人。2023年英伟达CEO黄仁勋 年 5 月亮提出“人工智能的下一波是具体智能”。根据黄仁勋的描述，新型人工智能——“具体人工智能”，即能够理解、推理和与物理世界互动的智能系统。

与传统的工业机器人、合作机器人等相比，具体的智能机器人具有高度的智能化程度，工作场景有限 制小、自主规划复杂工作的特点，成为国内外科技巨头和科研机构兵家必争之地。

在特斯拉举行的2023年年度股东大会上，马斯克展示了人形机器人Optimus的新型号，几乎等同于特定的智能机器人。马斯克说，人形机器人将是特斯拉未来的主要长期价值来源。

随着当前人工智能浪潮的爆发和全球“机器替代”进程的加快，人形机器人有望深入消费者的各个细分市场，成为人工智能的下一个重要应用场景。从长远来看，未来身体智能+人形机器人可能会成为通用人工智能的发展方向。01具体智能产业概述

根据“视觉求索” 文章，朱松纯教授将 AI 归纳为六个子领域：1)计算机视觉(包括模式识别，图像处 理等）；2)自然语言理解与交流(包括语音识别合成和对话)、3)认知与推理 (包括物理和社会常识)；4)机器人学(机械、控制、设计、运动规划、任务规划 等）；5)游戏与伦理(多代理人) agents 互动、对抗与合作等。)；6）机器学习 (统计建模、分析工具和计算方法)。人工智能是许多概念的总和，有些概念难以测量和验证，如让机器理解什么是社会，什么是责任，虽然可以输出一个表征，但很难测试机器是否真正理解这些概念，所以可以在一些可验证、可测量的概念上做一个闭环，具体的智能只是这样一个闭环，是一个很好的起点。具体智能是指能够与环境互动、独立规划、决策、行动和执行能力的机器人或模拟人，也称为“具体智能机器人”。具体智能是指能够与环境互动、独立规划、决策、行动和执行能力的机器人或模拟人，也称为“具体智能机器人”。它的实现包括计算机视觉、自然语言处理、机器人学等人工智能领域的许多技术。一般来说，智能机器人首先应该能够理解人类语言；其次，分解任务，规划子任务，识别移动中的物体，与环境互动，最终完成相应的任务。智能机器人涉及软件工程、自然语言处理、物理学(模拟)等多个学科、生物医学等。多学科最终汇聚成宏大系统，共同推动特定智能机器人的进一步发展。具体智能和非具体智能的区别在于，它们可以独立学习环境交互，产生对客观世界的理解和转变，而不依赖手动数据标记。1950 年，图灵在他的论文中《Computing Machinery and Intelligence》第一次提出了具体智能的概念。在接下来的几十年里，具体智能作为一个非常重要的概念，并没有取得很大的进展，因为当时的技术还不足以支持它的发展。今天，多学科技术已经改变了这种情况。智能研究已广泛应用于教育、材料、能源等领域， 成为未来新一代人工智能理论和应用突破的重要窗口。清华大学刘华平教授等人在《基于形式的具体智能研究》中： 总结了国内外多方面的研究，提出了历史回顾与前沿进展：具体智能（Embodiedintelligence）与离身智能相比 （Disembodied intelligence）更注重“互动”， 也就是说，智力受大脑、身体和环境协调的影响， 并且由身体和环境相互作用， 连续、动态地产生信息感知和物理操作过程。智能未来有望取得突破的发展方向包括形态出现、感知进化、物理实现、多体协调等。具体智能未来有望取得突破的发展方向包括形态出现、感知进化、物理实现、多体协作等。刘教授和其他人也强调，虽然具体的智力非常重要，但它有自己的局限性，并与离开智能紧密结合 是实现通用智能的必由之路。斯坦福大学计算机科学教授李飞飞认为，它的意义不是身体本身，而是与环境互动以及在环境中工作的总体需求和功能。交互最直接的障碍是人们严重依赖手写代码来控制机器 器人。陆策吾教授是上海交通大学的机器之心 AI 科技 主题演讲发表在年会上 提出了“具体智能” PIE 该方案认为具体的智能包括 3 模块：具体感知（Perception）、具身想象（Imagination）和具身执行（Execution）。1、具体感知：包括全概念感知和具体交互感知。全概念感知是指能够知道我们操作的世界模型（world model）各种与操作相关的知识，包括外观、结构、语义，以及 48 真实世界的关节体类别等。2、具体想象:有了感知材料，下一步就是决定怎么做。上海交通大学成名了 为 RFUniverse 该模拟引擎支持模拟引擎 7 物体(如关节可移动和柔性) 透明，流体...)、87 模拟种原子操作。还成功探索了从视频到机器人的行为：向机器人展示 50 看完一个场景，你会在模拟引擎中尝试类似的事情，然后在尝试后迁移到真机上。另外，这套思路也可以放在人体的康复上，做医疗护理机器人。3、具体执行：想象与实际操作之间存在差距。希望在PIE方案中建立一个元操作库，可以调用各种元操作来解决实际操作问题。目前，计算机视觉、机器人学和计算机图形学有三个领域。

有望打开具体的智能 AI 引领人工智能下一波新空间。实现具体智能需要多学科的交叉能力。目前，数字基础设施、机器人制造、机器视觉、多模式大模型制造商等相关环节的投资机会值得关注。机器人制造：为身体智能提供机械的身体和基本的运动控制。深度学习：本学科中的神经网络仍然是具体智能的主要工具。为具体智能提供推理能力；从环境反馈中加强学习，帮助具体智能调优模型。多模态：计算机视觉，为特定智能提供视觉信号处理能力；语音和自然语言处理，为特定智能提供理解和对话能力，实现与人类的互动。计算机图形：其开发的物理模拟环境为身体智能提供了现实物理世界的替代品，大大加快了学习速度，降低了成本。理解科学：帮助特定的智能理解人类，建立理解和价值。03具体智能机器人：AI终极载体

智能的出现有望继续引领“大模型+机器人”的潮流。具体智能机器人是具体智能的物理形式，有望成为 AI 最终载体。工业机器人主要依靠控制系统发出的指令信号来完成任务，主要依靠机器人的执行层。与工业机器人不同，如果智能机器人能像人一样与环境互动、感知、决策和完成任务，就必须提高感知和认知能力。因此，感知层和认知层是工业机器人向特定智能机器人迈进的门槛。感知层

感知层类似于人的面部特征，负责收集环境信息，机器可以通过感知在单个场景中绕过决策控制。视觉在感知层中的重要性较高，视觉感知或具体智能机器人的核心。从人体感官的角度来看，80%的信息获取来自视觉。根据童仁智能吴一明博士的分析，感知层面的核心在于视觉感知。主要原因是感知层需要与运动层互动确认：首先，视觉感知需要与物理存储进行互动确认，这是智能实现的基础。提高感知能力可以使机器人运动更加“拟人化”：视觉感知通过与运动系统的执行参数和信息数据的交互修正，将特定机器人从传统的僵化肢体运动提升为高自由度、高精度、多表现形式的运动。机器视觉和多态语言大模型的快速迭代有望大大提高机器人的感知能力和认知能力。交互层

作为核心处理枢纽，决策交互层需要类似于人脑的处理能力，以满足机器理解指令和分解的需要 任务、规划子任务、识别对象完成人机交互和环境交互的需求、多维人机交互 在传统的机器人领域是一个大问题。因此，目前的研究更多地体现在特定指令下对环境交互的探索上，即如何更智能地执行特定的物理任务。GPT-4 机器人对现实世界中图像、文字和数据的理解已经进入了一个新的水平。根据微软的最新研究，将GPT扩展到机器人领域，实现语言控制机械臂、无人机等平台。多模态的引入扩大了交互的丰富性，大大提高了人机交互和环境交互能力，帮助了机器人能力 力再上新台阶。未来，预计将在自动驾驶、工业自动化、医疗保健、家庭服务、教育、娱乐等领域得到更多的应用，帮助人类实现极端的环境运作，降低成本，提高效率。可以进一步关注硬件机器人的类型和应用场景，可以用大型模型进行改造。包括服务机器人、工业机器人和复杂场景下的人形机器人。特斯拉推出的人形机器人Optimus、波士顿动力的Atlas和Spot具有接近特定智能的能力。它们可以通过机器人的身体模拟人类或动物的行为和动作，更逼真地与人类互动。在算法方面，特斯拉的Dojo 人工智能超级计算机项目用于特定智能模型的加速培训和推理。英伟达的多模态VIMA可以驱动机器人识别物体并采取行动。从长期潜在需求来看，特定智能机器人在制造业、国内服务、商业服务等领域都有潜在需求。未来，特定智能机器人的需求将远远超过当前工业机器人的需求。随着技术突破带来性价比的提高，未来智能渗透率有望加快，行业想象空间巨大，1000亿蓝海有望开启。从长远来看，未来具体的智能+人形机器人可能会成为通用人工智能的发展方向。04多模式大模型：人工智能核心发展趋势

人工智能模型从单模态演变为多模态，预计将实现认知智能，这是人工智能未来发展的明显趋势。目前Open Soraa、以谷歌Gemini大模型和Pika为代表的人工智能多模型加速突破，或加快大模型应用领域的实施，打开商业空间。作为人工智能的重要应用，具体智能需要多复合模型能力。阿里巴巴张勇说，制造业 AI 未来10年，大模型的重要战场将是云AI 与物理世界机器的融合。除了单一领域模型的深度发展，如视觉和自然语言处理外，多模态大模型的支持可能成为下一个重要的应用方向。AIGC 为智能突破技术瓶颈提供新思路。AIGC的“智能”表现在能够理解和感知上下文，输出文本、图像和声音。GPT等大型模型进入AIGC时代后，有望成为人类与机器人沟通的桥梁。即通过 联合训练图像、文本和具体数据，引入多模态输入，增强模型对实际对象的理解，帮助机器人处理具体的推理任务。在人工智能大模型的浪潮下，全球巨头都在努力探索人工智能大模型与特定智能的融合。目前，许多大型工厂已经在特定的智能领域进行了布局，谷歌发布了历史上最大的通才模型 PaLM-E；如何探索微软 ChatGPT 扩展到机器人领域；阿里巴巴-千问大模型正在实验工业机器人的接入。让大模型成为机器人 基于自然语言实现机器人控制的“大脑”可能成为未来的热门研究方向。前微软全球执行副总裁陆奇博士在演讲中提到，我们现在在哪里 在“模型”新范式之后，下一个范式的“行动”范式是自动驾驶、机器人和空间计算的 在物理空间的组合中创新范式。所以继 LLM(大语言模型)之后的下一个范式必须是机器人。从目前的时间节点来看，硬件实体机器人也是大模型的重要着陆场景。05英伟达机器人的一些合作伙伴梳理

据不完全统计，英伟达与机器人领域的9号公司、奥比中光、QT Company、DriveU、有直接/间接的合作，如追求科技和宇树科技。9号公司与英伟达 Isaac Sim 平台与独立移动机器人底盘合作。早在2023年5月，中国台北国际计算机展(COMPUTEX)上，英伟达首席执行官黄仁勋发布了多种产品，包括新的独立移动机器人平台ISaac，面向仓储物流AGV领域 AMR(Autonomous Mobile Robot)，9号机器人移动平台RMP为该机器人平台提供了基本的智能移动能力支持 Lite 220，9号机器人负责整车集成。专注于奥比中光 3D 视觉感知业务。作为英伟达机器人业务的核心合作伙伴，绑定巨头+卡 位视觉&计算能力，将 3D 相机集成到英伟达的新版本 NVIDIA Isaac Sim 平台，预计卡机器人视觉闭环。此外，公司还与优必选、斯坦德、云迹科技、高仙机器人等机器人客户达成了业务合作。博杰股份有限公司为英伟达提供板卡工艺服务，收购哈婷。哈廷是世界三大磨床之一，可提供丝杠制备的磨床和车床；科瑞思的主要产品是绕线设备，与博杰股份有限公司的实际控制人相同。

目前NVIDIA Isaac和Jetson平台被120多万开发人员、1万名客户和合作伙伴使用。波士顿动力公司，Collaborative Robotics、Covariant、Sanctuary AI、宇树科技是基于英伟达的机器人成果。此外，基于软件生态和独特的多元化应用场景优势，国内许多人形机器人制造商将加快产品着陆过程；产业链已成为核心部件和设备制造商带来的增量需求。

与非智能普通人形机器人相比，具有更高的工作效率，具有理解、互动、规划能力等，在机器人进入数千个行业后，具有较强的着陆实用性。乐清智库选择