【媒体界】2月21日消息，近日，初创公司Groq推出的大模型推理芯片引发了业界的广泛关注。这款芯片以每秒500tokens的惊人速度，成功超越了传统GPU和谷歌TPU的推理性能，成为大模型推理领域的新翘楚。
据悉，Groq公司的创始团队来自谷歌TPU的原班人马，他们在设计这款芯片时，采用了全球首个LPU(Language Processing Unit)方案。通过这一创新方案，Groq成功克服了计算密度和内存带宽的瓶颈，实现了大模型推理性能的大幅提升。与传统GPU相比，Groq的推理速度提高了10倍，成本降低了十分之一，性价比显著提升。
据媒体界了解，Groq的这款芯片在算力方面表现出色，整型(8位)运算速度高达750TOPs，浮点(16位)运算速度也达到了188TFLOPs。同时，该芯片还搭载了230MB大SRAM以保证内存带宽，片上内存带宽高达80TB/s。这些技术指标的突破，使得Groq的芯片在处理大模型推理任务时更加得心应手。
Groq在演示中展示了其芯片对多种大模型的支持能力，包括Mixtral8x7B SMoE、Llama2的7B和70B等。这意味着Groq的芯片可以广泛应用于各种机器学习场景，为用户提供更加高效、便捷的推理服务。
此外，Groq还提供了API密钥访问服务，让用户可以轻松体验到世界上最快的开源大型语言模型(LLM)推理速度。同时，他们还推出了为期10天的免费试用期和具有竞争力的价格政策，以吸引更多的用户和开发者加入Groq的生态系统。
总的来说，Groq以其创新的LPU方案和卓越的大模型推理芯片性能，正引领着大模型推理领域的技术发展潮流。他们的产品特色亮点突出，价格政策合理，有望在未来三年内超越英伟达等竞争对手，成为大模型推理市场的领导者。
