人工智能模型走向多模态的三个必然因素

人工智能模型从单模态演变为多模态，预计将实现认知智能，这是人工智能未来发展的明显趋势。近期 AI 多模式模型不断取得突破。OpenAI 于11 月发布了 GPT-4 Turbo 且开放了 GPTS再次颠覆行业，GPTS短期上线数量已超过3万，开启了AIGC应用生态序幕。Pika1.0是海外创业公司PikaLabs正式推出的AI视频生成工具，在世界上很受欢迎，Pika1.0也很受欢迎.0包括一个能够生成和编辑的 3D 全新的动画、动画、卡通、电影等各种风格视频 AI 模型。12月，谷歌随后发布了Gemini，Gemini是最大、最强大的人工智能模型，声称其性能超过GPT-4和人类专家。作为多模态大模型，Gemini 可以同 识别和理解文本、图像、音频、视频和代码五种信息，对信息的理解非常准确。与传统大型模型对英伟达硬件和生态的依赖不同，Gemini 的训练来自 于谷歌的 TPU v4 和 v5e 硬件支持。图片来源:Google目前是Pika 以Gemini为代表的1.0人工智能多模态模型不断突破，或加快大模型应用领域的实施，打开商业空间。以上两家公司也代表了挑战者对OpenAI和英伟达的强烈反击，AI领域的高水平竞争正式进入了一个新的阶段。目前，海外科技巨头之间的多模式大模型竞争日益激烈，同时推动 不断突破底层多模态大模型的能力，垂域应用遍地开花，AI 预计该应用程序将迅速爆发。根据市场分析机构IDC的最新报告，2022年全球人工智能应用软件市场规模为640亿美元，预计到2027年将增加到2790亿美元，复合年增长率（CAGR）为31.4%。01多模态AI行业概览

人工智能领域的研究一直致力于通过技术实现计算机对人类认知世界的高度模仿。单模态交互是一种局限、不完整的模型，因此“多模态”研究大势所趋十分明朗。基于多模态大规模数据的多模态学习(对应单模态)，同时利用多种感官学习，提供更丰富的信息。除了传统语言和图像之间的互动外，它还结合声音、触觉和动作等多维信息进行深度学习，从而形成更准确、更具表现力的多模式表达。与单模态相比，多模态模型处理多种数据输入，结构更为复杂，可能涉及多个子网络的使用，然后合并其输出。多模式模型的核心是处理和整合这些不同类型的数据源。该模型可以捕捉跨模态的复杂关系，使机器能够更全面地理解和分析信息，从而在各种任务中表现得更好。人工智能模型走向多模态的三个必然因素：跨模态任务需求+跨模态数据集成+人类认知能力模拟。多模态人工智能以模态集成为核心技术环节，解决实际场景中复杂问题的多模态解决任务，围绕“表征-翻译-对齐-集成-联合学习”五个技术环节。多模态应用场景可分为视频分类、事件检测、情绪分析、视觉问答、情绪分析、语音识别、跨模态搜索、图像标记、跨模态嵌入、转移学习、视频解码、图像合成等。多模态AI实现跨模态任务，应用场景丰富。能够实现基于文本、语音、图片、视频等多模态数据的综合处理应用，完成跨模态领域任务，应用于各种场景。据布谷实验室统计，目前的多模式内容主要应用于商业定制、游戏、影视、教育和医疗五个行业。多模态模型根据技术迭代可分为三个主要开发阶段。自2010年以来，深度学习给多模态研究带来了前所未有的准确性和复杂性。这一阶段受益于四个关键因素:1)大规模多模态数据集；2)计算能力更强；3)研究人员也开始掌握更先进的视觉特征提取技术；4)有一个强大的语言特征提取模型，包括Transformer架构。多模式模型主要经历三个时代：02多模式AI市场格局梳理

在 OpenAI 宣布 ChatGPT 实现联网及 在支持图片、语音交流和文本交换等多模式更新后，国内外大型制造商继续布局跨文本、图像、音频和视频模式的人工智能模型，行业应用程序也在不断升级。目前，国内外制造商仍关注多模态大模型，开发标杆GPT-4竞争产品。Anthropic开发了AI聊天机器人Claude。谷歌一方面投资Anthropic，另一方面也在开发自己的语言模型Palm2和聊天机器人Bard。谷歌拥有多个跨模态AI模型，并提供多个功能服务模块。Meta走上了另一条路，开源了自己的大型LLAMA。后来，越来越多的公司开源了自己的大型模型，包括Vicuna、WizardLM、Guanaco等模型；微软KOSMOS-1模型参数16亿，解锁多模态功能。国内大型百花齐放，版本和性能不断迭代。随着国外人工智能大模型竞争的激烈发展，许多国内互联网企业和科技企业也开始开发百度、阿里巴巴、科大讯飞、百川等大模型。与国外相比，国内大型模型的版本和性能更新迭代更快。百度发布文心并不断迭代；腾讯混合元大模型迎来新升级，正式开放“文化图片”功能；盘古基础大模型提供数百种能力满足行业场景的需求，盘古大模型为客户提供100亿、380亿、710亿、1000亿参数系列基础大模型，可满足不同场景、不同延迟、不同响应速度的行业多元化需求。国内很多厂商也在多模式产业链上下游布局，代表苏州科达、网达软件、当虹科技、竞业达、声迅股份、亿佳和、因赛集团、博汇科技、数字政通、大华股份、云从科技、中科创达、拓尔思、新大陆、恒生电子、易点世界、360、佳都科技、捷成股份、昆仑万维、科大讯飞、万兴科技、汤姆猫、中文在线、数字政通等。360集团智能硬件和物联网业务集团360智能生活发布了360智能大脑-视觉模型和4个人工智能硬件设备，并宣布360智能生活将进入SMB（中小企业）市场。科大讯飞星火认知大模型 V3.0 实现文本生成，语言理解， 提高七种能力：知识问答、逻辑推理、数学、代码和多模态。苏州科达推出了KD-GPT大模型，包括多模态大模型、AIGC图像大模型和行业大模型，并开始应用于实际项目。基于多模态超融合技术的大模型YJH发布了易嘉和-LM，功能测试已在公司商用清洁机器人上完成。当虹科技视觉多模态分析技术基于视觉多模态分析技术的自主研发，对视频、语音、文本、图像等多媒体内容进行多维分析，对视频内容进行多模态集成智能理解分析和结构化标签提取，包括视频中人物、汽车、物体、标志性建筑、文本等内容的识别。03多模态AI应用端梳理

AI 应用的主要方向包括推出产品并开始商业化 AI 应用领 域:工具、教育、音乐、校对、营销等。 AI 视频生成等 AI 游戏、影视等多模式模型 IP 开发领域。后续随着 AI 大型模型进一步向多模式升级，广泛的数据交互和丰富的应用场景为改善用户体验提供了巨大的可能性。从应用趋势来看，随着多模式大模型在语音、图像、视频等输入输出中的应用，内容创作领域可能会经历前所未有的变化。预计多模式模型将显著打开下游应用场景，打破简单文本交互的局限性。预计下游应用场景在工业、医疗、汽车、机器人等领域的应用带来的商业增量空间将继续开放。2023 年 8 月 31 日，国内第一批 8 家厂商 AI 大型模型通过生成式人工智能服务管理 《暂行办法》备案，11 月 3 日，又有 11 家 AI 大模型完成备案。AI视频生成

人工智能生成视频技术迭代，加快应用落地和商业模式创新。文生视频是一个年轻的方向，面临着许多挑战，包括高计算能力成本 缺乏高质量的数据集，但随着视频扩散模型技术的突破，新的算法模型不断涌现。以国外Runway为代表的企业在过去的六个月里取得了很大的进步，视频生成的一致性和保真度也得到了很大的提高，未来在视频多模态领域的应用也得到了很大的提高。AI 以万兴科技、新国都、虹软科技、光云科技等为主要布局的视频生成领域。万兴科技旗下 AI 视频创作软件 Wondershare Filmora 13 内置创作 助手 Copilot，并上线了 AI 文本成片、AI 音乐生成器等 AI 生成功能；万兴“天幕”是中国第一个以视频创意应用为核心的百亿参数多媒体模型。AI+游戏

游戏作为一种集文本、图像、声音、视频等内容形式于一体的商业应用，有望在研发端更好地利用多模式、大模型的能力，提高内容制作效率，提高内容丰富度 AI 的 NPC 设计或进一步提升用户体验和付费意愿，为游戏整体收入增量开辟空间。版本号发布的规范化带来了供给端的改善，新游戏陆续上线。多模式大模型有望提高游戏研发效率、内容和游戏玩法的丰富性，增强游戏的社会属性，吸引增量用户，进一步打开游戏的商业空间。“AI+游戏相关布局厂商包括盛天网络、神州泰岳、网易、腾讯控股、吉比特、心动公司、创梦天地、姚记科技、完美世界，包括星星 辉娱乐、凯英网络、掌趣科技、汤姆猫、宝通科技、巨人网络、三七互娱、吉比特、巨人网络、电魂网络等。AI+ 影视 IP/音乐

人工智能多模态技术有望加快动画、影视、互动影视游戏、音乐等内容的发展， 丰富的内容供应，带来商业化的增长。本环节参与了芒果超级媒体、奥菲娱乐、阅读集团、猫眼娱乐、光媒体、中国在线、上海电影、手掌阅读技术等多家制造商的布局， 华策影视、捷成股份、万兴科技、易点天下、盛天网络等。AI+教育/电子商务/医疗

AIGC 在海外，教育产品功能创新和课程研发降低了成本，增加了收入。语言学习应用程序有很多邻国（Duolingo）DuolingoMax订阅服务基于GPT-4模型。国内 AI 教育产品不断更新迭代，有望逐步带来增量。AI 赋能电商“人”、“货”、“场”全面铺开，AI 导 国内外采购加快实施，实现商品推荐、服装试穿等功能创新，有望帮助电子商务平 台湾和服务商提高商品销售效率，降低成本，提高效率。AI+在医疗方面，在医疗保险费用控制和分级诊疗的背景下，人工智能可以帮助医院降低成本，提高效率，通过提高人工效率、精细操作和专业授权，帮助基层医院提高医疗能力。所以，嵌入AI大型模型的产品有望实现更好的落地。未来，多模型AI有望在成像技术、疾病筛查与预测、手术与康复等场景下继续努力。本环节的相关布局厂商包括世纪天鸿、南方传媒、皖新传媒、盛通股份、佳发教育、欧玛软件、光云科技、值得购买、一网一创、东方选择、焦点科技、润达医疗、嘉和美康、卫宁健康、创业惠康、迪安诊断等。AI+办公

在人工智能领域，语音输入和图像输入意味着更自然、更方便的人机交互和更广泛的应用场景，或进一步创新办公产品。微软为企业客户全面推出Microsoft365copilot，产品商业化步伐再次向前迈进，对国内办公软件厂商具有积极意义。当前国内“AI+办公室制造商的许多产品进入了测试阶段，预计监管实施后相关产品的商业化将加快。金山办公室发布的具有大语言模型能力的生成人工智能应用程序被称为“WPS AI这也是ChatGPT在国内协同办公轨道上的首个应用。AI+办公环节的主要布局厂商还包括彩讯股份、致远互联、科大讯飞等。AI+元宇宙/虚拟人

苹果 MR 头部显示或驱动整体 MR 设 准备出货量增加及 AR/VR 内容需求增长。预计多模式大模型将降低成本，提高内容开发效率， 从而改善各种应用场景下的应用 VR/AR 渗透性。主要布局厂家包括风语筑、凤尚文化、恒信东方、蓝光标、因赛集团、元隆雅图、引力传媒等。AI+机器人

人工智能大模型深度赋予机器人感知层和规划层，帮助机器人更接近具体智能。以微软ChatGPT预训练语言模型、谷歌Palm-E模型、英伟达多模态为代表的AI技术突破，进一步帮助机器人突破产品实力上限。谷歌Palm-E模型于2023年3月推出，集成了VitvisionTransformer的220亿参数和Palm的5400亿参数能力，集成了控制机器人视觉和语言的能力。2023年5月，英伟达发布了多模态特定智能系统NVIDIAVIMA，标志着人工智能能力的又一显著提高，预计将显著提高机器人的智能水平、人机交互能力和自编译能力。04计算能力：多模态AI关键基石

随着多模态时代的正式开启，与单模态模型相比，对计算能力的需求在训练阶段和推理阶段都有了很大的提高。对计算资源的需求增加，导致计算集群规模扩大。OpenAI认为，自2012年以来，大规模人工智能训练所需的计算能力呈指数级增长，每3.4个月翻一番。从2012年到2018年，增长了3万倍以上。目前，多模态大模型仍在迭代，训练阶段的计算能力将保持增长。计算产业链的核心环节包括服务器、网络设备、存储设备、芯片、IDC建设、光通信等。服务器和计算能力租赁的主要代表制造商包括浪潮信息、中科曙光、工业富联、寒武纪、中国数字、拓息、恒润股份、紫光股份、四川长虹、真视通、中国长城、莲花健康、鸿博股份、润建股份、中贝通信、烽火通信、恒威科技等。；光通信头部布局厂家包括中际旭创、新易盛、华工科技、剑桥科技、光迅科技、光库科技、烽火通信、长飞光纤、恒通光电等。

目前，全球已经开始了新一轮的人工智能技术竞赛。大型科技公司改变了传统人工智能解决方案的商业模式，专注于人工智能大语言模型的研发，并深入培育了更前沿的多模式大模型。在人工智能浪潮持续爆发的背景下，多模式预计将迎来全面爆发的机遇，推动产业链各环节的快速发展。乐清智库选择