微软:计划下个月推出人工智能自主研发芯片

近日，各大科技巨头纷纷更新自主研发AI芯片的进展：

1、微软：计划下个月推出人工智能自主研发芯片，支持培训和推理。

据Thee介绍，2023年10月6日 据Information报道，微软计划在下个月的年度开发者大会上推出该公司首款为人工智能设计的芯片。微软芯片用于数据中心服务器培训大语言模型（LLM）等待软件设计，同时支持推理，可以为ChatGPT背后的所有人工智能软件提供动力。

Athena 研发于2019年开始，旨在减少对英伟达的依赖和成本。根据最初的计划，它将使用台积电的5nm技术，预计每个芯片的成本将降低1/3。

2、谷歌：AI芯片已更新为Cloud TPU v5e。

2016年，谷歌第一代TPU(TPUv1)发布，然后在2017年成为谷歌云基础设施Cloud。 TPU推出。

2023年8月，谷歌发布了全新的AI芯片Cloud TPU v5e，专为大模型训练推理设计。与Cloud一起。 TPU v4相比，TPU v5e 训练性能提高2倍，推理性能提高2.5倍，成本降低50%。

谷歌云说，Midjourney和 Character 人工智能等客户使用自主研发的TPU。

3、亚马逊：推出推理芯片Inferentia&训练芯片Trainium，投资Anthropic。

亚马逊于2018年发布了推理芯片AWS Inferentia。第二代推理芯片Inferentia2于2022年推出，可大规模部署LLM、Diffusion等复杂模型。

亚马逊将于2020年推出全新的机器学习定制训练芯片 Trainium。

2023年9月，亚马逊投资Anthropic，Anthropic将获得AWS Trainium 用于训练、部署和微调AI模型的Inferentia芯片使用权。

4、Meta：推理芯片 MTIA 预计将于2025年推出。

MTIA全称Meta训练和推理加速器，是一种ASIC芯片。

2023年5月，Meta正式宣布MTIA 第一个芯片MTIAv1 v1于2020年开始设计，采用台积电7nm工艺，运行频率800mHz，TDP仅25W，INT8整数运算能力102.4 TOPS，FP16浮点运算能力为51.2 TFLOPS，目前主要用于推理。

MTIA 预计芯片将于2025年推出。

5、特斯拉：超算Dojo开始量产， Scaleed1芯片 out能力和低延迟

2021年AI 在Day上，特斯拉发布了D1芯片和超算Dojo。Dojo于2023年7月开始量产。

D1芯片是一种专门用于人工智能培训的加速器。采用台积电7nm工艺制造，集成645平方毫米面积500亿晶体管，培训节点354个。每个节点包括处理器核心、高速缓存、高带宽内存和高速连接。D1芯片的峰值算力达到362 TFLOPS(万亿浮点运算)峰值带宽达36 TB/s(每秒传输36万亿字节)。

特斯拉Dojo解决了大量具有scale的数据吞吐问题 在某些场景中，out能力和低延迟训练效率可能高于英伟达A100。

6、OpenAI：探索自主开发的人工智能芯片。

据路透社报道，2023年10月6日，ChatGPT开发商OpenAI正在探索制造自主研发的人工智能芯片，并开始评估潜在的相关收购目标。

计算能力需求细化，二供时代即将到来

目前，GPU市场供不应求，英伟达处于绝对垄断地位。科技巨头正在努力开发自己的芯片。1）一方面，由于计算能力需求的细化，2）另一方面，它也可以应对英伟达的垄断，降低成本。例如：

比如特斯拉推出Dojo，主要是为了解决车端收集的大量视频数据的培训问题。

大模型培训和推理需求：例如，微软Athena专门服务于大模型数据中心的培训和运营，谷歌Cloud TPU v5e是专门为大型训练和推理设计的，亚马逊推理芯片inferentia和训练芯片trainium。此外，科技巨头Meta、OpenAI等也有较大的大模型训练和推理需求。

我们预计科技巨头将长期成为英伟达的竞争对手，但还有很长的路要走。英伟达GPU硬件地位强，软件CUDA构筑壁垒，生态投资AI企业绑定下游潜在需求。

1)硬件端，英伟达是GPU的领导者，不断迭代更新。2023年3月，英伟达发布了NVIDIAGPT，针对ChatGPT的巨大计算能力需求 H100 NVL，推出四款全新推理GPU-L4 TensorCore GPU、L40 GPU、H100 NVL GPU、Grace 超级芯片Hopper，人工智能数据库分别擅长人工智能视频、图像生成、ChatGPT等大型语言模型的推理加速、推荐系统和大型语言模型。2023年5月，英伟达推出万亿参数 NVIDIAIAI创建 DGX GH200旨在处理TB级模型，用于大规模推荐系统、生成人工智能和图形分析。2023年5月，英伟达推出万亿参数 NVIDIAIAI创建 DGX GH200旨在处理TB模型，用于大规模推荐系统、生成人工智能和图形分析。该公司计划在下半年大幅增加供应，以满足加速计算和生成人工智能的转变。

2)早在2006年，英伟达就推出了并行计算和编程平台CUDA，使开发人员能够通过CUDA、C++、Fortran等高级语言调用CUDAAPI并行编程，并将公司自身的GPU产品深度绑定，提高了客户切换软硬件的门槛。

3)5月，英伟达宣布为游戏提供定制的AI模型OEM服务 for Games，利用人工智能提供自然语言交互，使NPCS更加智能化。

4）在生态方面，英伟达还进一步扩大了人工智能领域，并通过快速投资人工智能模型企业来绑定下游潜在需求。私人圈纪要