1.事件:2024年1月15日 LPU（Language Processing Unit）初创公司“Groq推出Groq API之后，最近在一些公开评估和客户测试中，Groq 所有LPU都在延迟（Latency）、吞吐量（Throughput）横扫竞品等指标，受到高度赞扬。根据Groq官网，它为开源LLM模型的运行提供了世界上最快的推理速度。目前，官方网站提供了两种开源模型的演示：Mixtral8x7B-32k的生成速度接近500 token/s，Llama 2 70B-4k接近300 token/s。
二、快评：性能指标：Groq LPU在延迟指标中（Latency）、吞吐量（Throughput）横扫竞争产品延迟等指标（Latency）：明显小于大多数竞争产品
吞吐量（Throughput）：显著高于大多数竞争产品
定价:进入Groq主页的竞争产品明显低于竞争产品。目前有两种可选模式:Mixtral8x7B-32k，Llama 2 70B-4k。我们使用相同的模型（Llama 2 以70B-4k为例，比较Groq平台的推理价格 vs 其他平台的推理价格(以亚马逊AWS为例)发现Groq平台的定价明显低于竞争产品。Groq平台：Llama 2 70B-4k收费为：1Mtoken，输入0.7美元/输出0.8美元。亚马逊AWS：对Llama 2 70B-4k的费用为：1ktoken，输入0.00195美元/输出0.00256美元。对应约1M个token，输入1.95美元/输出2.56美元。
技术介绍Groq没有走GPU路线，而是创造了世界上第一个L（anguage）PU方案。2)简化设计:LPU是一种新型的端到端处理单元系统，不同于 GPU SIMD(单指令、多数据)模型采用更简洁的方法消除了对复杂调度硬件的需求。该设计允许有效地利用每个时钟周期，以确保一致的延迟和吞吐量。3)擅长LLM：LPU可以为具有序列组件的计算密集型应用程序(如LLM)提供极快的推理速度。LPU的核心意义是克服两个LLM瓶颈——计算密度和内存带宽。Groq芯片采用14nm工艺，配备230MBSRAM，保证内存带宽，内存带宽达到80TB/s。Gorq芯片的整型(8位)运算速度为750TOPS，浮点(16位)运算速度为188TFLOPS。
对于推理端的芯片格局，影响计算力端的性能更高(延迟指数、吞吐量指数等)。)、成本较低的芯片(单位token收费)有望在海量推理需求中提供新的供应端选项。预计应用程序端的低成本和高效推理过程将加速 应用落地和普及搜索、创意设计、办公软件等内容生成领域，进一步促进推理需求的增长。微软、谷歌、苹果、相关标的海外科技巨头及应用Meta、Shopify、Duolingo等 ASIC芯片与芯片互联架构：Amazon、Alchips、关注英伟达/AMDASIC芯片进展、寒武纪、澜起科技、芯原股份交换机及光模块：Broadcomm、Marvel、Coherent、Arista、Fabrinet、徐创、天孚、新易盛 边缘推理：苹果，Meta、TSMC、联想股份 AI应用：万兴科技、当虹科技、中广天择、中文在线等存储：北京君正、纳思达、中电港、光力科技、C华微。三思行研
上一篇：上海五连阳156只股票涨停3000点以下,珍惜历史性廉价筹码
下一篇：返回列表
硅光一直倾向于讲故事，主要是因为他是英特尔最早用来对抗博通EML传统方案的标杆或阵营。英特尔硅光在2016年占订单的20%， 经过7-8年的发展，其实份额一直很小，很难莲藕，光芯片流片也很差。英特尔从未赚过钱。硅光的渗透率一...
如果你想数一数未来几年非常确定的轨道，人工智能必须有一席之地。人工智能是一个富有想象力的市场。在ChatGPT诞生并风靡全球之前，我们不知道人工智能可以迅速渗透到各个方面，改变我们的生活方式。例如，以大模型为基础的...
[指数]今天的指数冲击，可能是在牛s生命预测的线上和线下范围内。但收盘是站在2920点，表明它仍然比预期更强劲，但不幸的是，成交量可以进一步萎缩。所以后续可能是在消化利润板块后继续反弹。如果合作良好，发布新高可能会走...
假如说春节期间最引人注目的消息，Sora一定是榜上有名，让人再次体验到了ChatGPT带来的震撼。大家都没想到，一年前“巨石强森吃石头”的傻瓜人工智能在短短一年内演变成60秒细节精致、光影优秀的视频。假期过后的两个交易...
祖传秘方-开门红！龙年第一个交易日，a股全线走红，各大指数全线上涨，上证指数上涨1.56%，创业板指数上涨1.13%，科技创新50指数上涨1.57%。与节前相比，两市成交额9572.9亿，明显缩水！就个股而言，普遍上涨格局，涨跌家数比4157：1028年，涨...
本文“LPU(Language Processing Unit)初”由壹米财经整理发布，欢迎转载收藏，转载请带上本文链接。
免责声明：【壹米财经】发布的所有信息，并不代表本站赞同其观点和对其真实性负责，投资者据此操作，风险请自担。部分内容文章及图片来自互联网或自媒体，版权归属于原作者，不保证该信息（包括但不限 于文字、图片、图表及数据）的准确性、真实性、完整性、有效性、及时性、原创性等，如有问题，请联系我们！
