第一，历史上最快的大模型诞生了
一觉醒来，AI圈又变天了。
在消化了Sora带来的冲击之前，另一家硅谷初创公司以历史上最快的大模型和自主研发的芯片LPU占据了热门搜索。
就在昨天，人工智能芯片制造商Groq（不是马斯克的Gork）开放了自己产品的免费试用。与其他人工智能聊天机器人相比，Groq闪电响应速度迅速引爆了互联网讨论。经过网民测试，Groq每秒生成近500 tok/s，碾压GPT-4的40 tok/s。
但需要强调的是，Groq并没有开发出新的模型，它只是一个模型启动器，开源模型Mixtral运行在主页上 8x7B-32k和Llama 270B-4k。
来自驱动模型的硬件Groq并没有使用英伟达的GPU，而是开发了一种新型的AI芯片——LPU（Language Processing Units）。
每秒500 tokens，写论文比眨眼快
LPU最突出的特点是速度快。
Groq根据2024年1月的测试结果 LPU驱动Meta Llama 2模型，推理性能遥遥领先，是顶级云计算供应商的18倍。
前一篇文章提到，Groq LPU搭配Meta Llama 2 70B可以在7分钟内生成与莎士比亚哈姆雷特相同数量的单词，比普通人快75倍。
如下图所示，一些推特网民问了一个与市场营销相关的专业问题，Groq在四秒钟内输出了成千上万个单词。
还有网友同时测试Gemini、GPT-代码调试问题与Groq完成。
因此，Groq的输出速度是Gemini的10倍，是GPT-4的18倍。
Groq在速度上打击了其他AI模型的降维
二，LPU，英伟达GPU的挑战者？
Groq还没有开发出新的模型，它只是使用了不同的芯片。
根据Groq官网的介绍，LPU是专门为AI推理设计的芯片。GPU驱动，包括GPT等主流大型模型，是一种图形渲染并行处理器，有数百个核心，LPU架构不同于GPUSIMD（单指令、多数据），该设计可以使芯片更有效地利用每个时钟周期，确保一致的延迟和吞吐量，也减少了对复杂调度硬件的需求：
GroqLPU推理引擎不是一个普通的处理单元；它是一个端到端系统，为需要大量计算和连续处理的应用程序（如LLM）提供最快的推理。LPU推理引擎的性能比传统GPU高出几个数量级，以消除外部内存瓶颈。
简单地说，对用户来说，最直观的体验就是“快”。
使用过GPT的读者必须知道等待大模型一个接一个地吐出字符是多么痛苦，而LPU驱动的大模型基本上可以实时响应。
三、技术介绍
Groq没有走GPU路线，而是创造了世界上第一个LPU路线（anguage）PU方案。
2)简化设计:LPU是一种新型的端到端处理单元系统，不同于 GPU SIMD(单指令、多数据)模型采用更简洁的方法消除了对复杂调度硬件的需求。该设计允许有效地利用每个时钟周期，以确保一致的延迟和吞吐量。
3)擅长LLM：LPU可以为具有序列组件的计算密集型应用程序（如LLM）提供快速的推理速度。LPU的核心意义是克服两个LLM瓶颈——计算密度和内存带宽。
Groq芯片采用14nm工艺，配备230MBSRAM，保证内存带宽，内存带宽达到80TB/s。
Gorq芯片的整型(8位)运算速度为750TOPS，浮点(16位)运算速度为188TFLOPS。
与需要依赖高速数据传输的英伟达GPU不同，GroQLPU在其系统中没有使用高带宽存储器（HBM）。它使用SRAM，比GPU使用的存储器快20倍左右。
鉴于人工智能的推理计算，GroQLPU比模型训练所需的数据量更节能。在执行推理任务时，它从外部内存中读取的数据较少，消耗的电量也低于英伟达的GPU。
相关概念股：北京君正、纳思达、中电港、光力科技、C华微等。
特别是北京君正，其控股北京硅业务实体主要是ISSI，ISS主要业务是集成电路存储芯片、模拟芯片及其衍生产品的研发和销售，产品主要用于汽车电子、工业制造和通信设备行业，是全球DRAM和SRAM行业领导者之一。
兆易创新:是中国的存储芯片和芯片 MCU 领军企业。公司成立于 2005 年，于 2016 年在上 交所主板上市。以兆易创新产品 SRAM 开始，然后扩展到 NOR FLASH、MCU、NAND FLASH、DRAM 而传感器领域，目前是世界第三，国内第一 NOR Flash 供应商， 累计出货超 212 亿颗。公司连续 7 年位居国内 32 位 MCU 制造商第一，GD32 系列累 计出货量超 13 目前，它在世界上排名第一 7。公司拥有丰富的产品和平台布局 旅游消费、工业、汽车、安全等领域，并进入华为、苹果、三星等知名客户 应链。
西方测试：根据公司招股说明书，EEPROM可以通过电子元器件的检测和筛选来实现、SRAM、NOR fl ash等存储芯片读写擦除功能的自动测试提高了存储芯片的测试效率，接近思科瑞的水平。2024年1月30日，公司有能力为低空飞机测试提供部分测试。
航宇微：sram+卫星互联网；
新亚电子：SRAM+5.5.5G。
下一篇：返回列表
硅光一直倾向于讲故事，主要是因为他是英特尔最早用来对抗博通EML传统方案的标杆或阵营。英特尔硅光在2016年占订单的20%， 经过7-8年的发展，其实份额一直很小，很难莲藕，光芯片流片也很差。英特尔从未赚过钱。硅光的渗透率一...
如果你想数一数未来几年非常确定的轨道，人工智能必须有一席之地。人工智能是一个富有想象力的市场。在ChatGPT诞生并风靡全球之前，我们不知道人工智能可以迅速渗透到各个方面，改变我们的生活方式。例如，以大模型为基础的...
[指数]今天的指数冲击，可能是在牛s生命预测的线上和线下范围内。但收盘是站在2920点，表明它仍然比预期更强劲，但不幸的是，成交量可以进一步萎缩。所以后续可能是在消化利润板块后继续反弹。如果合作良好，发布新高可能会走...
假如说春节期间最引人注目的消息，Sora一定是榜上有名，让人再次体验到了ChatGPT带来的震撼。大家都没想到，一年前“巨石强森吃石头”的傻瓜人工智能在短短一年内演变成60秒细节精致、光影优秀的视频。假期过后的两个交易...
祖传秘方-开门红！龙年第一个交易日，a股全线走红，各大指数全线上涨，上证指数上涨1.56%，创业板指数上涨1.13%，科技创新50指数上涨1.57%。与节前相比，两市成交额9572.9亿，明显缩水！就个股而言，普遍上涨格局，涨跌家数比4157：1028年，涨...
本文“人工智能芯片制造商Groq闪电响应速度引爆互联网讨论”由壹米财经整理发布，欢迎转载收藏，转载请带上本文链接。
免责声明：【壹米财经】发布的所有信息，并不代表本站赞同其观点和对其真实性负责，投资者据此操作，风险请自担。部分内容文章及图片来自互联网或自媒体，版权归属于原作者，不保证该信息（包括但不限 于文字、图片、图表及数据）的准确性、真实性、完整性、有效性、及时性、原创性等，如有问题，请联系我们！
