Sora文生视频模型有望实现 AGI 重要里程碑

最近，OpenAI发布了其第一个 AI 视频生成模型—Sora 模型。Sora 它可以根据用户的文本描述生成和成长 60 秒、1080P 高质量的视频包括精致复杂的场景、生动的角色表达和复杂的镜头运动。此外，Sora还展示了人工智能理解和模拟物理世界的能力，这被认为是实现通用人工智能（AGI）关键一步。OpenAI认为，视频生成模型是构建通用物理世界模拟器的一条有前途的道路。它将人工智能理解和模拟运动中的物理世界提升到一个新的高度。Sora文生视频模型有望实现 AGI 重要里程碑。什么是文生视频？

文生视频大模型是一种可以通过的 AI 大型机器学习模型生成视频内容。文生视频根据用户的自然语言描述准确生成相应的视频内容。用户提供的文本， 提示图像、音频、视频等内容（prompt），模型可以结合用户提供的内容来处理和创建 制作完全自主生成或扩展的视频。这些模型通常基于深度学习，特别是自然语言处理（NLP）、计算机视觉（CV）和语音识别（ASR）等待技术的融合。以OpenAI官方发布的示例视频为例，输入提示：“一位时尚女士在东京街头漫步，街上充满了温暖的霓虹灯和 生动的城市标志。她穿着黑色皮夹克、红色连衣裙和黑色靴子，手里拿着一个黑色的手提包。她戴着太阳镜，涂着红色口红。自信随意地走路。街道潮湿反射，形成彩色灯光 镜面效果，很多行人来来往往。“2023年实际诞生的文生视频大模型数十个，全球用户数量超过百万 不，但大多数视频模型仍处于产品的早期阶段。2024 多年来，各大公司加快了文章的发展 研发生视频模型的步伐。Midjourney 宣布将在未来几个月加快文生视频模型的培训；随后，谷歌推出了文生视频模型Lumiere。Lumiere模型的推出，进一步展示了谷歌在文生视频技术上的深厚实力。该模型不仅具有高度智能的文本分析能力，而且可以根据文本内容自动生成匹配的视频图片，实现“文本到视频”的真正转换。

国内字节跳动和腾讯也发布了视频模型MagicVideoV2和VideoCrafter2。从创作的角度来看，市场上公开的大多数模型都来自初创公司和小型技术开发团队，包括Runaway、Pika 等等，目前已经呈现出相当可观的完成效果和商业模式。预计随着科技大厂产品的发布，相关产品的生态将继续繁荣。

什么是Sora？

Sora是在可变持续时间、分辨率、宽高比的视频和图像上联合训练的文本条件扩散模型。该模型将自然语言处理技术与视频生成技术相结合，并通过使用大量带有相应文本字幕的视频进行训练。其机制是从静态噪声开始，通过多个步骤逐步消除噪声，最终生成清晰的视频。使用Sora DALL·E3的重新标记技术是视觉 培训数据生成高度描述性的描述性文本和 GPT 模型类似，Sora 使用 Transformer 结构，扩展性强。OpenAI声称，如果给出一个简短或详细的描述或静态图片，Sora 类似电影的1080p场景可以生成，包括多个角色、不同类型的动作和背景细节。与之前的视频生成模型相比，Sora 以下突破主要实现：视频持续时间达到 60 秒：Sora 目前可以根据文本要求生成 60s 连贯的视频，保持视频主体和背景的高度流畅性和稳定性。无论是复杂的动作，Sora都能准确理解用户的文本指令 场景仍然是细腻的情感表达，Sora 能够准确地捕捉和展示。对现实世界的理解：生成的视频除了满足文本要求的主题和元素外，Sora 对光影反射、运动等物理规律的遵循程度较高 呈现方式、镜头移动等细节的效果更加逼真，都表现出极高的质量。根据OpenAI的官方介绍，Sora目前有多个角色、特定类型的运动和准确的细节 主体和复杂场景的能力。同时，还可以创建多个镜头，模拟复杂的相机镜像效果，使 视频的生成更加生动。三维一致性：Sora可以生成摄像机动态运动的视频。随着相机的移动和旋转，3D空间中人物和场景元素的移动将保持一致。Sora 视频可以向前和向后扩展，视频可以连接。Sora可以使用 逐渐插入两个输入视频之间的值，在主题和场景构图完全不同的视频之间创建无缝过渡。03Sora(文生视频)模型产业链梳理

Sora 横空诞生，有望带动新一轮产业繁荣，进一步刺激市场 AI 产业可持续创新能力。Sora模型产业链涵盖数据收集与处理、模型培训与开发、部署与应用、硬件与云服务、产业链上下游企业等环节。人工智能模型的训练需要大量的数据，包括文本、图像、视频等形式。为了满足模型训练的需要，需要收集、清洁、标记等数据。在收集到足够的数据后，需要对模型进行训练。这一过程需要大量的计算资源，包括高性能计算机，GPU、TPU等。同时，还需要专业的人工智能算法工程师来设计和优化模型。Sora文生视频模型可广泛应用于影视制作、动画制作、游戏开发、音乐教育等领域。人工智能视频可以大大降低视频的制作成本，降低成本，提高应用领域的效率，预计供应方将加快发展。此外，人工智能模型的运行需要强大的硬件支持，包括高性能计算机、服务器和计算能力租赁服务。

Sora+影视视频Sora有望显著降低制作门槛和成本，极大地丰富影视 创造性和风格的作品。Sora 影视行业的出现将被重塑，拥有核心导演或创意人才 IP资源制造商具有先发优势。上海电影、光线传媒、中文在线、掌阅科技、华策影视、果麦文化等影视及IP代表厂商。Sora+游戏游戏是虚拟世界的一个 种体现，Sora 对物理世界的理解和模拟可以高度适应游戏场景的开发， Sora 可应用于游戏角色创建、场景开发等过程，降低开发成本。代表厂商包括三七互娱、凯英网、巨人网、昆仑万维、掌趣科技、盛天网等。Sora+计算能力Sora在视频生成领域具有象征意义，大型模型预期 能力可以逐步验证。但与此同时，生产产品的缺陷也表明培训仍然存在 计算能力基础设施的部署需求仍在扩大和升级。人工智能模型的运行需要强大的硬件支持，包括高性能计算机、服务器、云服务和算法制造商。国内计算能力基础设施代表制造商包括中科曙光、浪潮信息、紫光股份、工业富联、拓展利率、海光信息、寒武纪、中国数字、瑞捷网络等；算法层面的主要布局制造商包括科大讯飞、云科技等。总的来说，Sora产业链各环节的布局厂商很多，主要参与布局的厂商包括会畅通讯、当虹科技、因赛集团、安诺其、国脉文化、新华网、易点世界、数字视频、东方国信、万兴科技、海康威视、大华股份等。金山办公、新国都、虹软科技、熵基科技、美图公司、佳发教育等主要参与者。

未来，随着模型规模的增加，参数将继续扩大。多模态大模型的推出将导致计算能力需求的指数级增加，包括训练和推理，并在场景应用中带来颠覆性革命。随着文生图片和图片对话技术的成熟，文生视频可能成为多模式大模型的下一个发展方向。Sora 文生视频的视觉效果明显高于其他视频 AI 工具的质量接近专业内容 如果生产者的创作标准在未来得到推广，有望进一步降低用户的创作门槛，重塑 内容创作生态，如频率。值得注意的是，考虑到技术限制和安全性 滥用伦理等技术后可能面临的多重风险，OpenAI 表示暂时无计划向公众开放 Sora 该模型仅供一些内部测试用户使用。随着未来人工智能文生视频技术的不断完善和更新，人工智能视频有望以人工智能的技术优势和视频内容优势开拓市场，开启新一轮人工智能变革。精选乐晴智库