计算能力租赁市场的总体模式是什么?

核心观点：

1、未来一年，计算力租赁需求将继续增加，价格将稳步上涨。

2、未来，计算力租赁对中小企业、科研院所和政府的智慧城市项目有着巨大而可持续的需求。

3、未来对创作和游戏的计算能力需求将迅速增长。

一、专家介绍基本情况

从用户的角度介绍算力租赁，公司从2019年开始做大模型，直到2023年3月，通过算力租赁的方式相对较少。企业自己购买服务器，然后报废更划算。就计算能力租赁价格而言，今年5月开始上涨，与5月相比，7月单节点一年的价格上涨了30%左右。而且CPU和这种固态比较高级别的SSD都降低了规格，包括节点互联速度比5月份低一点。各种折扣叠加后，7月份的价格在7万左右。

价格快速上涨的原因是暑假过后，更多的人关注部分应用阶段的计算能力需求，5月前更关注培训需求。根据部委的数据，世界各地的计算能力需求，包括人工智能编辑，是培训阶段的2-7倍。因此，自夏季以来，计算能力企业一直在增加计算能力设备，但整体仍然短缺。

计算能力需求主要来自三个方面：1、BAT大互联网企业和360、昆仑万维是大型培训端企业和各种垂直场景应用端企业。这些企业通常会选择自建计算能力或让互联网企业给他们自建计算能力；2、初创公司和科研机构。这些机构做大模型不会做chagpt的规模，但总的来说至少需要5000匹计算能力需求；3、政府智慧城市大模型化，包括城市智能交通、智慧城市等。包括北京、重庆、武汉、江苏无锡在内的2020年开始将大模式与智慧城市相结合。目前，政府倾向于使用公共计算能力来做这部分。

目前，计算能力租赁的主要需求来自第二部分和第三部分。就缺口量而言，中国约有100个大型模型，每个模型约有2000-3000个计算能力。根据推理是训练的2-7倍，明年中国的总需求量约为200万张a100张。目前，全国计算能力加起来不到一半。这是当前 人工智能应用落地阶段短中期需求量。但从我所在机构2019年扩大模型的角度来看，该行业已经实施了70多个应用程序，主要是媒体、工业教育和交通领域。参考最近微软大模型集成的操作系统、英伟达新推出的一些设施、特斯拉自动驾驶等，国外整体应用将在未来产生更多的需求。我认为游戏可能会爆发出巨大的需求，因为随着大型文生文和文生图能力的逐渐成熟，今年的尖端技术集中在 人工智能生成3D和人工智能生成视频这两个方面，都很容易与游戏相结合。从这两个方面的技术成熟度来看，英伟达和谷歌推出的一些技术在过去两个月已经突破。所以需求很大，大模型对游戏的改进会很大。目前国内玩游戏的厂商没有国外那么多，但这部分可以和算力租赁结合。

算上这些场景，算力租赁价格虽然9月份的价格还是和7月份一样，但是硬盘和节点之间的互联速度会更低。计算机租赁公司将试图以更低的成本为租户提供服务。因此，后续的价格可能需要与应用程序相结合。到年底，可能会有几家公司在中文领域超过GPT3.5。叠加这种情况，整个价格在那个阶段会有一定的上涨趋势。从长远来看，未来可能需要参考国外技术的进展。目前，国外正在向多模式方向发展。一旦多模式爆发，计算能力需求将呈爆炸性增长。根据公开研究，当模型参数增加10倍时，整体计算能力需求将增加100倍。这是当前技术无法突破的一点。所以我判断算力租赁价格还是会上涨。对许多计算能力租赁企业来说，能否有资金购买卡，以及购买卡的时间能够到达是非常重要的。许多企业在年初的目标是建立1万匹计算能力，但到目前为止，到达的计算能力甚至不到1000匹，目前行业的现状是拿卡速度非常慢。同时，对于算力租赁企业来说，网络的要求还是比较高的。因为参数超过1500亿的模型决定了训练效率和推理效果，不仅仅是单卡计算能力，还有 高端显存量的HBM和卡间互联的速度。目前，在中国下一个订单中获得如此高配置的卡通常需要半年时间，因为英伟达主要为国外供应，而且在中国的供应量不是那么大。

此外，对于计算能力租赁企业能否实现快速增长，一些灵活的需求，包括帮助政府进行代理运营，整体协调这一部分也至关重要。由于计算能力不仅来自大模型的需求，而且各地的计算中心也有许多国外的计算能力中心。包括城市大脑的建设，每个城市的区块链节点都需要通过平台来计算。如果能做好这一点，也是一个很大的增长点。

二、沟通和问答环节

Q：分析整个计算能力租赁市场的总体模式是什么？从今年下半年开始，拿卡的节奏会比以前快一点吗？

A：超过一半的企业没有达到年初计划的计算能力。一方面，卡本身的到达量没有那么多，另一方面，企业不能承受这样的成本。1000匹计算能力可能需要2~3亿美元才能持有。从这个角度来看，许多企业的目标是建立1万匹计算能力，资金不够。总的来说，今年的到达量与公众认为仍有一定的差距。

从明年开始，供应可能会更好，但明年整体不会有太大改善，明年到货情况会有很大改善。我认为这可能是一种趋势。

Q：在整个计算能力市场上，华为国内生态是否会说更多地参与智能城市，然后打破原有的竞争模式，从科研机构的角度来看，如何看待这个问题？

A：1、华为以金字塔的形式开发大型模型，不仅为这些行业提供计算能力本身，还包括网络存储、一些人工智能框架、培训过程中的子优化，以及从底层硬件到软件人工智能框架的一套完整服务。华为从这个角度进入这个行业，不仅仅是从大模型的角度，大模型的角度只是一个层次，华为现在有很多大模型 b领域已经有订单了。华为在大模型方面的优势来自于其以往对各行业场景的锤炼，以及相关数据的整合。其整体产品形式和许多小样本场景的模型能力比以前没有做过场景的其他大型模型企业更具优势，即华为的优势来自大型模型授权行业。

2、整体集成能力不仅需要一个模型，还需要一个整体。企业使用起来会更方便，包括整个模型的效率和性能。华为大模型的整体提升效率可以达到20%以上，这是公开数据。就像单卡计算能力一样，与英伟达a100的差距可能不是特别大，整体约为60%。然而，当华为进行集成时，一旦整个集群被使用，我们的计算能力集群的使用效率可能往往低于50%，这是正常的，这是它与英伟达相比的缺点。短期内行业不太注重这一缺点，短期内大家更注重整个功能。然而，在中长期追求终极性价比的时候，如果华为还没有在这一点上做到这一点，你可能会考虑它是否会像中国其他计算能力生态一样转变为英伟达，包括一些甚至英伟达。

Q：未来几年租赁价格的预测中心将达到什么水平，明年和明年将达到什么状态？

A：供应方短期内不会有太大变化，但需求方会有很大变化。明年价格的变化仍然是分阶段稳步上涨。到明年，整个价格可能会略有下降，然后分阶段维持一段时间。我认为中国在推理方面有自主研究的能力，明年可能会有一定的生产能力。因此，价格将略有下降。

Q：训练还是推理需求来自哪些方面？

A：现阶段倾向于训练，推理在中国处于较早的阶段。

Q：现在只能选择租赁 a800和h800？

A：现在租赁方面的4090、3090也可以租，但a800是主要的。

Q：以a800卡为推理，有性价比吗？

A：在视频场景中，中高端显卡具有更高的性价比和效率。

Q：2025年模型训练有了一定的成绩，不需要那么多算力吗？

A：训练的计算能力需求分为三个方面。1.、整个大模型扩展到偏场景端，新场景需要新的数据重新训练，带来数据端的增长和训练需求。

2、在transformer的架构下，模型参数的增长更多地来自于模型参数增长带来的模型参数增长的变化。多模式必须是未来半年大模型中最重要的增长点，这将带来计算能力的增长。

3、在训练阶段，计算能力需求来自于经常需要迭代大模型，通常需要每月迭代一次。

Q：人工智能算力租赁是由于短期缺卡造成的暂时现象，还是从长远来看，这个行业确实有自己的生存空间？

A：对于偏向轻资产的中小企业、初创企业、科研机构来说，转租方式将是一个不错的选择。

Q：比如华为这边对英伟达的指代性如何？比如训练用英伟达，推理用华为？

A：全部用英伟达进行训练，然后基于华为进行推理是没有问题的，在技术上是可以实现的。

Q：也许英伟达的卡明年对我们来说还是很紧张的。像华为这样的国产卡有机会吗？

A：现阶段，华为的主要机会来自地方政府项目和地方金融、能源、教育等领域 b场景，但大多数互联网公司并没有充分利用他们的计算能力提供服务。互联网公司更关心整个极端的效率。

Q：据说华为的芯片对扩展模型的兼容性相对较差。目前有没有改进？

A：华为在稳定性方面还不错，调度效率与英伟达还有一定距离。

Q：和交通行业一样，整体推理需求快的时间节点是什么时候？

A：由于没有大规模场景，推理阶段的计算能力需求在城市大脑、自动驾驶和轨道领域的后续增长将相对较快。～2倍的量。

Q：哪个方向的推理计算能力需求会快速增长？

A：目前，对教育、法律和办公室的需求很大，未来的部分创作、编辑和游戏将迅速增长。

Q：英伟达明年给国内供应的总出货量是多少，那么云制造商的比例是多少？

A：国内比例不是很高，应该不到30%。云制造商的比例不是特别高，约为20%、30%以内。

Q：从行业情况来看，有没有新的路线可以挑战现在的transfomrer架构，因为这种对计算能力和参数的感觉有点简单粗暴。

A：transformer本身就是大力出奇迹。当它的底层结构确实具有统一的表现力时，添加3D模式和运动模式会发现transformer可以做到这一点，这就是它的优势。那么确实它对计算能力的消耗，整体复杂度比较高。因此，现在有一些新项目完全改进和重写了transformer。今年8月，香港与国外建立了统一的表演架构。当然，这仍处于论文阶段，不在工业场景中使用。这些新的优化模型将在半年内采用。transformer优势明显，缺点明显。

Q：华为的计算能力租赁市场接受度高吗？电耗成本差距是多少？

A：它的成本比英伟达低20%~30%左右。目前华为在其生态中有50多家企业，服务力度相对足够，会比英伟达强很多。企业更注重华为带给他的整个生态，包括订单，包括场景的扩展和迁移。

Q：为什么推理需求可以用在华为服务器上，如何适应？

A：一开始，它需要一点时间和人力来适应，但后续的模型变化，包括基于这个版本的迭代，在华为方面没有大问题。因为华为在代码、可读性和应用性方面基本相同。

Q：华为服务器使用哪些型号？

A：910系列。目前，它的CPU端都是基于昆鹏和海光的。基于海光和昆鹏的比例约为3:7。

Q：国内自主研发的企业主要有哪些，而不是开源大模型的微调？

A：基本上，我们现在可以在列表中看到的是独立的研发。在早期阶段，一些人可能会使用开源版本进行微调，然后验证它们是否可以在这个场景中使用。然后，整个开源将被完全拆开，重新建立自己的一个，并根据自己的场景建立自己的架构。这基本上可以被视为一种独立的研发。？？p>

Q：在国外使用大模型来改变游戏模式？除了大模型？ NPC，在大型模型生成界面之外，是否有新的玩法？

A：目前，国外沉浸式游戏，包括陪伴式虚拟人类游戏和一些冒险游戏。它的大模型叠加图形项目通常需要一到几个月才能完成。现在一个游戏可以在大约三天内完成。目前，3D的技术障碍已经解决，但离应用程序可能还有几个月的时间。这一块出来后，整个大模型可以画3D角色，背景没有问题，可以通过大模型设置策略。现在中小游戏企业的创新能力已经足够了，这个想法已经解决了。一些颠覆性的情况可能会涉及到游戏行业。纪要私享圈