国内人工智能计算能力的需求和供给现状如何?

1.评估国内人工智能计算能供需现状

国内人工智能领域对计算能力的需求呈现出强劲的增长趋势。腾讯、字节跳动、阿里巴巴等龙头企业的计算能力需求已接近3.5时代，并迅速接近4.0水平，呈指数级增长。然而，与需求方的快速发展相比，供给方似乎缺钱。例如，GPT-3.5模型所需的计算能力约为4000PFLOPS(每秒1000亿次浮点计算)。预计GPT-4所需的计算能力将超过3000PFLOPS。目前，国内计算能力供应远远不能满足这一需求。与此同时，市场上声称的人工智能计算能力在学术测试集中可能达到90%以上的高水平，但在实际应用中，由于技术差距和资源限制，接近GPT-4的实际应用效果仍存在较大差距。

2.国内需求与供给博弈

在我国人工智能市场上，大型互联网企业对计算能力的需求尤为强劲，而其他中小企业则需要寻求创新的解决方案才能参与竞争。推理市场增长稳定，活跃用户数量持续上升，月增长率至少保持在15%左右。由于计算能力不足，许多企业都在寻求硬件设备供应商的合作和软件层面的深度优化。上海人工智能实验室等科研机构正在积极推动大模型技术的更新。与此同时，中小型制造商对图像处理和视频分析的计算能力需求也在上升。

3.深入分析需求和供给

国内人工智能计算能力主要集中在制造、搜索引擎等行业的应用上，国内替代方案的研发进展已成为投资关注的焦点。华为推出的Ascend 910和即将推出的920C芯片在计算能力和互联性能上逐渐与NVIDIA相匹配 A100与H100竞争的基础，但其软件生态建设和稳定性需要进一步提高。预计华为920C将在年底前达到与H100相当的计算水平，并提供更好的用户体验。相比之下，尽管NVIDIA H20在性价比方面没有优势，但由于计算能力和带宽的巨大差异，以及国内人工智能计算卡供应短缺和价格高，获取难度增加。

4. AI计算能市场需求趋势分析

随着自动驾驶等领域对大规模模型需求的激增，自去年第四季度以来，国内自动驾驶制造商对人工智能计算能力的需求呈指数级增长趋势，预计未来将继续上升。视频内容生成市场潜力巨大，阿里巴巴、腾讯等大型工厂已开始布局相关业务，初创企业也非常活跃，GPU计算能力需求强劲。目前，视频生成市场还处于起步阶段，具有爆炸性增长的潜力。此外，多模态大模型具有广阔的应用前景。中国正在加快追赶GPT-4的技术水平，这表明对模型计算能力的需求将进一步增加，垂直行业的应用场景预计将迎来新的突破点。

5.国内人工智能算力的发展现状和挑战

在国内市场，国内人工智能计算卡在训练端存在明显的性能差距。寒武纪等企业的部分产品技术保持在2019-2021年的水平，短期内难以取得重大突破。海光等品牌的计算卡性能约为NVIDIA产品的一半，目前尚未看到大规模部署案例。展望国际形势，英伟达预计2024年出货量将增加，但仍可能面临供不应求的局面。在计算能力租赁市场，价格差异显著。租金取决于客户规模和租赁卡类型。大客户可以获得一定的折扣，但即使打折后的租金也不会低于每批16万元左右。这反映出国内人工智能计算能力资源短缺、成本高的问题依然突出。

Q&A

Q：国内人工智能计算能力的需求和供给现状如何？

A：截至目前，国内主流互联网企业和科研机构在人工智能计算能力发展方面取得了显著进展，到2023年基本接近GPT-3.5计算能力水平。自去年下半年特别是第四季度以来，各方都在积极布局，以追赶国际领先的GPT-4标准。国内现有模型性能接近GPT-4的80%-90%，但实现这一目标所需的计算能力是GPT-3.5的10倍左右。据估算，GPT-3.5需要大约4000PFLOPS计算能力，而GPT-4预计需要在3万到5万PFLOPS之间，其中3万PFLOPS相对保守。尽管清华大学和其他单位声称在技术上取得了突破，但在实际经验和技术架构层面上，中国与GPT-4的实际性能仍存在显著差距。鉴于此，中国制造商在短期内推出真正实现或接近GPT-4性能的模型可能需要等到第二季度甚至年底才能实现。因此，国内人工智能计算能力供应严重不足，能够支撑GPT-4冲刺水平的企业屈指可数。

Q：目前国内计算能力缺口有多大？

A：中国有十多家制造商获得了大型开发许可证。如果每个企业都打算标杆GPT-4，考虑到所需计算能力的显著增长，中国的整体计算能力供应无法满足所有这些需求。因此，中国确实面临着人工智能计算能力的巨大差距。

Q：最近国内人工智能计算能力需求和供给的变化如何？

A：目前，国内对人工智能计算能力的需求方呈现强劲趋势。在中国，大约有10家企业可以实现相当于GPT-3.5级模型，但只有腾讯、字节跳动和阿里巴巴等几家巨头在计算能力方面完全可与GPT系列相媲美。他们去年大规模购买了英伟达显卡，单个公司购买了数万张。由于需求侧瓶颈依然明显，其他企业要想迎头赶上，就需要另寻解决方案。同时，自去年第四季度以来，各种产品的活跃用户数量激增，推动了推理计算能力需求的持续上升，月增长率至少保持在15%左右。虽然增长率不到培训端的两到五倍，但其重要性日益突出。随着业务的发展，推测未来第二季度部分公司的API服务可能会出现配额限制。此外，上海人工智能实验室等大型客户也在不断更新和推广大型模型研发，导致需求快速增长；中小型制造商和研究机构对复杂图像、视频纹理处理等领域的计算能力需求也呈上升趋势。在供应方面，自去年10月17日实施精准制裁措施以来，国内新显卡供应几乎停滞不前。此外，英伟达H100显卡的交付可能受阻，供应方面压力巨大。

Q：展望未来，人工智能计算能力需求和模型迭代的趋势将如何演变？

A：例如，英伟达最近购买了约35万张H100显卡，美国科技巨头正在囤积大量的显卡资源。在全球范围内，预计人工智能计算能力需求将以非常强劲的速度增长，单个模型所需的计算能力可能是目前的1万倍以上。按照预测，GPT-与GPT-4相比，5的训练规模至少会提高一个数量级，带来更严格的计算能力要求。一些硅谷创始人甚至认为，计算能力需求的增长将是指数级叠加的指数级增长。未来可能的爆炸性增长主要集中在游戏行业的客户和专注于视频内容生成的初创公司，其计算能力需求可能会增长20到100倍。与此同时，华为Ascend系列等国产显卡也在逐渐崭露头角，如Ascend 910 人工智能处理器(即“910b”)具有理论计算能力和NVIDIA A100相当，但在集群互联和软件生态方面还有待完善。目前，910b建设的集群规模可达到GPT-3.5级，华为计划在今年年底前发布新一代Ascend 920 人工智能处理器(以下简称“920c”)有望与NVIDIA相匹配 官方声称H100的计算效率为1200TFLOPS，并特别强化了卡间互联性能，旨在提供更好的使用体验，支持大规模卡间互联部署。然而，除华为外，国内其他制造商在计算能力供应方面的进展大多处于早期发展阶段，尚未形成强大的规模竞争实力。

Q：Ascend 910 AI 市场上处理器的客户接受度和性能体验如何？华为新产品的供应和价格特点是什么？

A：Ascend 910系列处理器已成功应用于科大讯飞、美图、美团等行业龙头企业，但目前的性能水平主要保持在3.5左右。由于其卓越的效率，该产品供应短缺，市场需求强劲，加上华为自身的生产能力限制，使许多次级市场制造商难以获得足够的供应来满足需求。目前，华为向内部项目和已建立合作关系的重要客户群体提供大部分产品。华为预计其Ascendd 910 预计AI处理器将达到NVIDIAI H100具有相当大的计算能力水平，并透露Ascend将于年底发布 920处理器的标称性能高达1200TFLOPS，旨在提供接近或相当于NVIDIA H100780%的使用体验。

Q：与同类产品相比，NVIDIA H20 GPU的性能和价格竞争力如何？NVIDIA在租赁市场 A100的价格走势如何？

A：NVIDIA H20 GPU作为削减计算能力的版本，单卡性能约为H100的1/12，在多卡配置下，A100单卡性能约为1/3至1/2。然而，从性价比的角度来看，H20的预期价格可能在H100的70%-80%之间，这导致其性价比较低，约为Ascend 910b的约1/5。最近了解到，商汤等AI企业租赁云计算能力时，租金比两三个月前上涨了10%-15%左右，整个行业基本暂停了A100级以上等高端型号的GPU租赁服务。

Q：AI计算能力在中国有哪些变化和动态值得关注？

A：国内对人工智能计算能力的总体需求呈指数增长趋势。首先，在自动驾驶领域，自去年第四季度以来，制造商开始建立大规模的模型来支持端到端的自动驾驶解决方案，这比传统的分阶段自动驾驶带来了更高的计算能力要求。其次，视频内容生成领域突然出现。受皮卡模型(这里没有具体模型)的影响，国内很多初创公司也开始投资这个领域。他们需要巨大的计算能力。比如风险投资基金支持的小团队，短期内可能需要几百甚至几千张GPU卡。这些新兴应用的快速崛起将进一步推动整个人工智能算力市场的扩张。

Q：您对国内多模态大模型的发展及其对计算能力需求的影响有何看法？

A：多模态大模型的研发对计算能力的需求极其苛刻，国内正专注于解决与GPT-4相同水平的问题。一旦国内能够成功突破GPT-4级，继续向GPT-4V等更高级别的多模态模型迈进，计算能力需求将成倍增加，预计将是GPT-4所需计算能力的两倍左右。目前，我国的首要任务是克服GPT-4问题，然后逐步发展到更复杂的多模态模型。届时，计算能力需求的增长将呈现爆炸性的特征。

Q：你认为国内哪些领域的AI应用会有显著的爆炸性增长？

A：在中国，人工智能应用程序将有两个主要的爆发点。首先是教育行业的自动阅卷系统、虚拟教师助理、医疗领域的自动诊断系统等垂直领域的深度应用。人工智能技术已逐步应用于这些领域。预计今年上半年将有更多的企业布局相关业务，特别是那些在2023年投资大量但仍在探索盈利模式的企业。其次，随着人工智能模型能力的接近，甚至达到GPT-4级，人工智能应用将被广泛接受为一种强大的生产力工具，下半年可能会出现更大规模的应用爆发。

Q：国产算力卡寒武纪和海光的发展现状如何？它们有实用价值吗？

A：目前，寒武纪的产品线在大规模培训场景中还没有取得重大突破。其核心战略更倾向于定制芯片和推理应用，保持在2019年至2020年的技术水平。去年第三季度，海光发布了新产品PRFor，其性能可达市场品牌NVIDIA产品的一半左右。尽管如此，海光还没有部署大型超千卡训练集群。总的来说，国产计算卡在训练端与市场参与者等升腾系列存在较大差距，但在推理端可能具有较大的竞争优势。

Q：NVIDIA预计将在2024年生产多少显卡？

A：为了准确预测NVIDIA2024年的显卡产量，需要综合考虑其财务报告中披露的产能信息和新工厂的进展情况。然而，该行业普遍认为，与2023年相比，2024年的供应量不会显著增长，市场可能仍面临供应紧张的问题。据推测，当年的显卡总产量可能在400万件左右。

Q：国内算力券的主要应用场景是什么？可以作为现金扣除吗？

A：计算凭证主要作为政府实施的政策工具，目前仍缺乏关于其详细操作模式的信息。据初步了解，该凭证旨在激活当地人工智能计算中心的资源利用效率，但具体的实施效果和使用方法需要进一步明确。

Q：目前市场上裸金属服务器租赁的价格范围是什么？

A：裸金属服务器租赁市场的价格跨度较大。例如，一些行业数据显示，租金从每批108万元到10万元不等。对于A100系列设备等高端设备，租金可能达到每批约20万元。价格差异主要取决于客户规模，大型企业通常可以享受更多的折扣。即便如此，最低价格也在每批16万元以上。

Q：国内有没有机构获得NVIDIA？ H100样片并进行了实际测试？

A：确实有一些机构测量了H100样品，但目前仅限于少数，样品仍处于工程阶段，与最终上市产品的能耗、体积、散热性能有一定差异。尽管如此，实测结果表明，其性能基本符合预期规格。H100的计算能力约为A100的十分之一，相当于A卡的三分之一，但在多卡协同训练场景中可能表现出更高的效率优势。

Q：在中国推广NVIDIA 为什么L20推理卡的战略方案？

A：鉴于L20卡在国内市场的性能定位相对较低，其关注度有限。在购买时，消费者可能更倾向于选择性价比较高的低端产品，而不是L20。因此，推广L20卡的策略可能需要围绕其实用性和特定场景的性能优势展开，以满足其性能的市场需求。私人圈