Sora 初步计算训练和推理计算能力需求

本周观点

1.1 Sora 初步计算训练和推理计算能力需求

Sora发布了亮眼的表现，Transformer+Diffusion架构或成为文生视频大模型的新范式。根据Sora技术报告，类似于LLM将不同的文本数据统一为token，Sora可以将不同类型的视频和图像等视觉数据统一为patches。具体来说，Sora先将视频压缩成低维潜在空间，然后分解为patch；随着训练计算量的提高，Openai将Transformer架构用于视频生成，视频生成质量也显著提高。

Peebles是Sora的作者之一《Scalable Diffusion Models with Transformers》构造成熟的Transformer+Diffusion架构模型用于图像生成；中国人民大学等机构后续发布《VDT: GENERAL-PURPOSE VIDEO DIFFUSION TRANSFORMERS VIA MASK MODELING》该架构用于视频生成的进一步实现，在上述论文中的模型参数的帮助下，我们计算Sora的计算能力需求：

1、在训练端，由于模型架构的更新，本文是对的《Scalable Diffusion Models with Transformers》Dit在论文中-XL/4模型进行反向工程，以便在输入相应的参数后可以获得29.05Gflops，并且需要计算能力324Gflops来训练1024x768分辨率图片，根据《Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning(Pablo 等着，2022 年)》 Youtube每分钟上传大约500小时的视频，假设视频每秒60帧；假设全部使用英伟达A100(FP16) 计算能力312Tflops，芯片利用率80%；经过一个月的训练，Youtube的所有新视频大约需要231个A100。考虑到文章中的模型都是经过多次训练获得的，计算能力需求仍有可能大大提高。

2、推理端，推理端计算能力约等于交互式Patches数量*2*参数，假设抖音8亿日活，平均每人每天使用2h，对应每天16小时视频播放时间。假设每个Patch大小为60*80，一帧1920*1280分辨率的图片有512个Patch，一秒30帧，对应一分钟生成的视频有92.16万个Patches，假设Sora模型参数为30亿，则对应1846万个A100需求。

1.2合成数据:从数据增强到训练主体

合成数据是指基于生成人工智能技术的计算算法和模拟创建的数据。根据天一智库，合成数据依赖于初始创建的少数高质量真实数据，将大大降低算法训练所需的真实数据量，提供更快、更高效的获取所需数据的方法；合成数据主要通过以下四种技术路径获取：基于深度学习生成、模拟生成、语义规则生成和蒙特卡罗法生成。

合成数据主要分为结构化数据和非结构化数据，广泛覆盖金融、医疗、零售甚至运营商。根据天一智库，合成数据的产业布局可分为结构化数据（表数据）、非结构化数据(视频、图像等)、合成数据广泛应用于测试数据等领域。早期主要用于计算机视觉领域，现在正在向金融、医疗、零售甚至运营商拓展。

以多模式为代表的非结构化数据发展迅速，英伟达和游戏引擎制造商纷纷进入该局。据《MatrixCity：对于城市规模的神经渲染数据集，本文实现了使用虚幻引擎5城市样本项目的操作过程。作者开发了一个工作流程，以便于随着真实的相机姿势和地面上的一系列额外数据模式收集空中和街道上的城市视图；论文的方法还为环境因素提供灵活的控制，如光线、天气、人类和汽车人群，支持覆盖城市规模的神经渲染等各项任务的需求。英伟达Omniverse继续推动合成数据业务的发展，并支持使用本地部署和 NVIDIA Omniverse™ 使用合成数据创建Cloud解决方案的应用程序。

合成数据训练效果不断提高，到2030年人工智能训练，合成数据量有望超过真实数据。据谷歌《Learning Vision from Models Rivals Learning Vision from Data》SynCLR虽然没有直接使用任何真实数据训练，但是在论文中 在Imagenet数据集中训练的线性传输性能仍然可以与传统的训练方法相媲美。根据Gartner的预测，合成数据还可以填补数据缺失、数据不足、数据不平衡等可能存在的问题，提高机器学习算法的鲁棒性和泛化能力 2030 年度合成数据完全覆盖 AI 模型中的真实数据已成为人工智能模型训练使用数据的主要来源。

1.3 投资建议

Sora 我们在《2024》中的推出进一步验证了人工智能的应用。：AI应用的真正第一年｜民生计算机年度策略》中提出：2024年或是AI应用的真正第一年，AI终端重构、算力国产化与多模态引领AI应用这三大新方向孕育重要机遇，

建议重点关注AI央企市场最佳受益者：华为升腾一体机：科大讯飞、云从科技、软通动力、恒为科技等；

其他三个重要方向：

1. 国内核心计算能力：寒武纪、浪潮信息、中国长城、海光信息、高科技发展；

2. 人工智能终端变革：中科创达、萤石网、漫步者等；

3.出海AI应用:焦点技术、超讯通信等。

行业新闻

国家数据局：开展全国数据资源调查， 加快数据资源开发利用利用

2月19日，国家数据局发布全国数据资源调查通知。通知称，为落实数字中国建设总体布局规划工作部署，了解数据资源基础，加快数据资源开发利用，更好地发挥数据要素价值，国家数据局、网络安全信息委员会办公室、工业和信息技术部、公安部联合开展全国数据资源调查，调查数据资源生产存储、流通交易、开发利用、安全等单位。调查对象包括省级数据管理机构、工业和信息化主管部门、公安部门（局）；各省重点数据采集和存储设备制造商、消费互联网平台和工业互联网平台企业、大数据和人工智能技术企业、应用企业、数据交易所、国家实验室等单位；企业；工业协会和商会；国家信息中心。

国有资产监督管理委员会：中央企业应加快智能产业布局和发展 加快建设一批智能算力中心

2月20日，国务院国有资产监督管理委员会召开“人工智能授权” “产业焕新”企业人工智能专项推广会。党委书记、国务院国有资产监督管理委员会主任张玉卓在会议上强调，要促进企业在人工智能领域的更好发展，发挥更大的作用。会议认为，中央企业应主动接受人工智能对社会的深刻变化，加快新一代人工智能的发展，不断加强创新战略、应用示范和人才聚集，努力建设人工智能产业集群，发挥需求规模大、产品配套、应用场景优势，带头抓住人工智能传统产业，加快构建数据驱动、人机协调、跨境融合、共创共享的智能经济形态。会议强调，企业应全面规划人工智能的发展，进一步促进产业更新，加快人工智能产业的布局和发展。会议强调，企业应全面规划人工智能的发展，进一步促进产业更新，加快人工智能产业的布局和发展。巩固发展基础，将主要资源集中在最需要、最有利的领域，加快若干智能计算能力中心的建设，进一步深化开放合作，更好地发挥跨中央企业合作创新平台的作用。

自然资源部:建设“一网一图、国土空间基础信息平台”的自然资源

2月22日，作为指导未来国家自然资源数字化发展的纲领性文件，总体规划明确，自然资源部将突出数字利用、授权和主导作用，以信息系统集成为突破，加强基础设施和网络数据安全能力，丰富自然资源数据系统，巩固土地空间基础信息平台数据管理、智能计算、场景建设、协作共享能力，以自然资源智能场景为目标，大大提高自然资源管理和土地空间治理的信息化水平和效率，融入数字中国建设，全面帮助美丽中国数字治理体系建设。

工业和信息化部：鼓励工业领域低碳技术创新和管理创新，使绿色数字化、智能化

工业和信息化部于2月23日发布了《工业碳达峰碳中和标准体系建设指南》。指南强调“创新驱动、数字赋能”：鼓励低碳技术在工业领域的创新和管理创新，将低碳新技术和新技术融入相关标准，加快低碳创新技术的推广应用。围绕5G、工业互联网、人工智能等新一代信息技术在工业低碳领域的应用创新，加快相关标准的发展，赋予绿色数字化、智能化，培育和扩大低碳发展的新驱动力。

公司新闻

亚信安全：2月19日，公司计划通过全资子公司天津亚信金安科技有限公司、亚信科技（成都）有限公司与联合投资者共同投资成立有限合伙企业；国内SPV计划设立海外全资子公司作为收购主体，购买SKIPER支付现金。 INVESTMENT 亚信科技控股有限公司持有LIMITED19.236%或20.316%的股份，同时，田溯宁及其控制的Info通过表决权委托获得 Addition Capital Limited Partnership、PacificInfoLimited、CBC PartnersII L.P.亚信科技9.572%至9.605%的股份对应于上述股份收购交割后持有的表决权。

博思软件：2月19日，公司计划与福州市长乐区启星股权投资合伙企业（有限合伙企业）合作，少数控股子公司织巢鸟股东、福州市长乐区启航股权投资合伙企业(有限合伙)按持股比例向织巢鸟增资1500万元。增资完成后，织巢鸟的注册资本从2000万元增加到3500万元，公司仍持有织巢鸟40%的股权。

卫宁健康:2月19日，公司控股子公司卫宁电钥科技(上海)有限公司拟注册资本从166627.9346万元增加到2478.8829万元，新增注册资本8150.9483万元。增资完成后，公司持有电钥科技的股权比例从43.704元增加。5%下降到42.4859%。

永信真诚:2月19日，公司计划通过集中竞价交易回购公司发行的部分人民币普通股(a股)。拟回购股份的总资金不低于人民币3万元(含)，不超过人民币6万元(含)

德胜科技：2月19日，公司计划利用自有资金回购公司发行的人民币普通股（a股），以集中竞价交易的形式维护公司价值和股东权益。回购股份总资金不低于2500万元（含），不超过5000万元（含），回购价格不超过18.15元/股（含）。

声迅股份：2月19日，公司计划利用自有资金回购公司发行的部分普通a股。回购股份的总资金不少于2500万元（含），不超过5000万元（含）

多伦科技:2月20日，公司首次回购公司股份972200股，占公司总股本的0.14%，最低成交价为5.40元/股，最高成交价为5.45元/股，已支付的总金额为5.283、196.00元(不含交易费用)。

亚康股份:2月20日，公司拟回购总额不低于3000万元(含本数)，不超过5000万元(含本数)。预计可回购股份数量约为46.1538万至76.9230万股，约占公司总股本的0.53%至0.89%。

泛微网络：2月20日，公司拟回购资金总额不低于7500万元（含），不超过15000万元（含），回购价格不超过56元/股（含）

四维图新:2月20日，公司子公司北京世纪高通科技有限公司收到南方电网供应链集团有限公司的《中标通知书》

万通科技：2月20日，公司控股股东西藏景源企业管理有限公司出具的《安徽万通科技有限公司详细股权变更报告》，2024年2月7日，西藏景源通过深圳证券交易所集中竞价增持121600股流通股，占公司总股本的0.03%

盛视科技：2月20日，公司最近收到国家知识产权局发布的发明专利通知，专利可有效扩大无线射频识别场景，提高大规模读卡的稳定性和抗干扰性，实现高质量的射频读卡效果，为使用场所提供多模式实时监督计划。

梅安森：2月20日，公司计划利用自有资金回购公司发行的人民币普通股（A股），回购总资金不少于2500万元（含），不超过5000万元（含），预计回购1839、588至3、679、175股，目前公司总股本占0.61%至1.22%。

宏伟股份：2月21日，公司计划回购自有资金不少于2000万元（含本金），不超过4000万元（含本金）。根据回购价格上限26元/股（含本金），预计回购股份数量约为769、231股至1、538、462股，约占公司总股本的0.71%至1.41%

网络科技：2月21日，公司子公司深圳爱杰云科技有限公司最近收到了深圳市科技创新委员会、深圳市财政局、国家税务总局深圳市税务局联合颁发的高新技术企业证书

视频智能：2月21日，该公司最近收到了国家知识产权局颁发的发明专利证书。获得“基于多蓝牙网络的通信路径选择方法和设备”的发明专利证书，进一步体现了公司的自主研发和创新能力，有利于加强公司对知识产权的保护，提高公司的核心竞争力

陈欣科技：2月21日，公司于2024年2月20日获得国家知识产权局颁发的发明专利证书，发明公布了联盟链区块广播的一种方式。与当前主流的Gosip协议和中继节点不同，本发明将通过预交互优化广播区块的通信量

航天信息:2月21日，公司和Varmego Solutions 由Limited组成的联合体与中华人民共和国香港特别行政区政府商务经济发展局签订了“单一贸易窗口第三阶段”项目总承包合同，合同金额为港元3.010元、570元、786.00元（约2.735元、464元、827.58元）

新火炬网络：2月21日，公司计划回购不少于5000.00万元（含）、不超过10000.00万元（含）的资金总额。根据回购价格上限34.58元/股（含）计算，预计回购金额约为1.45、923-2、891、844股，约占公司总股本的1.2399%-2.4798%

英国软件:2月21日，公司首次通过上海证券交易所交易系统集中竞价回购公司股份1万股，占公司总股本83.5万股的0.01%，回购交易最高价为32.28元/股，最低价为31.99元/股，支付总资金321.330元

金橙：2月22日，公司计划回购公司发行的部分人民币普通股（A股），回购资金总额不低于1500万元（含），不超过3000万元（含）

金山办公:2月22日，公司首次通过上海证券交易所交易系统集中竞价回购公司股份122068股，占公司总股本461、723、327股的0.0264%，回购交易最高价为249.74元/股，最低价为241.00元/股，支付总资金30.042、905.64元。

泛微网:2月22日，公司首次以集中竞价交易的形式回购8万股，占公司总股本的0.03%，最高交易价格为39.30元/股，最低交易价格为38.79元/股，已支付的资金总额为3.18.972.00元

信安世纪：2月22日，公司计划通过集中竞价交易回购公司发行的部分人民币普通股（A股），回购资金总额预计不低于3000万元（含）、不超过6000万元(含)，回购价格不超过20元/股(含)

华平股份:2月22日，公司于2024年2月21日首次通过回购专用证券账户回购公司股份1.17万股，占公司总股本的0.22%；首次回购股票的最高成交价格为每股3.36元，最低成交价格为每股3.26元，平均回购价格为每股3.30元，已使用资金总额为3.865元，900元(不含交易费用)

余瞳光学：2月22日，公司监事会主席康富勇因个人原因申请辞去公司第三监事会监事、监事会主席职务。辞职后，他不在公司或子公司担任任何职务

亚康股份：2月22日，公司计划通过集中竞价交易回购部分公开发行的人民币普通股（a股），并用于股权激励或员工持股计划。回购总额不低于3000万元（含本金），不超过5000万元（含本金）。回购价格不得超过65元/股（含本金）

声迅股份：2月22日，公司计划利用自有资金以集中竞价交易的形式回购公司发行的部分a股普通股。本次股份回购资金总额不得低于2500万元（含5000万元），不得超过5000万元（含5000万元）

鼎捷软件：2月22日，公司计划利用自有资金以集中竞价交易的形式回购部分公司股份，以维护公司价值和股东权益。回购资金总额不得低于（含）2500万元，不得超过（含）5000万元，回购价格不得超过20.00元/股

盛邦安全：2月23日，公司计划通过集中竞价交易回购部分公司发行的人民币普通股（A 股票)预计回购规模不低于人民币1500元 万元(含)不超过人民币3000元 万元（含）

麦迪科技：2月23日，公司副总经理杨春辉因个人工作原因辞去公司副总经理职务，辞职后继续担任公司其他职务

恒生电子：2月23日，公司副总裁周峰因年龄原因辞去副总裁职务。周峰将继续在公司担任其他职务

科达自控：2月23日，公司收到国家知识产权局颁发的两份发明专利证书，“机器人读卡器固定支架”、授权“矿山采矿领域通风系统及其使用方法”发明专利，充分发挥自主知识产权优势，增强公司在智能矿山领域的核心竞争力

神思电子：2月23日，公司近日收到中华人民共和国国家知识产权局颁发的三项发明专利证书，分别是“人机交互中使用的人脸重量预防识别方法”、“行业上下文省略问答方法”、“语言模型与图形神经网络关系提取方法” ，上述发明专利主要用于公司AI云服务解决方案。

佳创视频：2月23日，公司向长春净月高新技术产业开发区人民法院提起诉讼申请，因与吉视传媒有限公司发生合同纠纷。该公司最近收到了受理案件的通知、《民事调解书》

本周市场回顾

本周(2.19-2.23)沪深300指数上涨3.71%，中小板指数上涨2.6%，创业板指数上涨1.81%，计算机(中信)板块上涨12.33%。板块股票涨幅前五名为:天泽信息、当虹科技、中威电子、思创医惠、信雅达；跌幅前四名为:柏楚电子、新大陆、道通科技、博思软件。