就在 ChatGPT 发布前两周,总部位于硅谷的 AI 芯片初创公司 Cerebras Systems 推出了名为 Andromeda 的 AI 超级计算机。 Andromeda 专注于商业和学术研究,通过连接 16 个 Cerebras CS-2 系统构建而成,这些系统是该公司最新的人工智能计算机,围绕名为 Wafer-Scale Engine 2 的超大芯片设计。
快进四个月后,Cerebras 周二在 Andromeda 上公布了其开源 ChatGPT 类模型,旨在研究和商业社区免费使用,作为促进更多合作的努力的一部分。该版本包括七个全部在 Andromeda 上训练的模型,以及较小的 1.11 亿参数语言模型到较大的 130 亿参数模型。
新发布的模型仍然回避 OpenAI 的 GPT-3 模型——ChatGPT 背后的基础模型——相比之下,后者有 1750 亿个参数。但与在大型微软云上运行的 ChatGPT 模型不同,Cerebras 表示其较小的模型可以部署在手机或智能扬声器上,而较大的模型可以在 PC 或服务器上运行。
然而,Cerebras 表示,大型段落摘要等复杂任务将需要更大的模型。 AI 模型的参数越多,它们执行复杂生成功能的能力就越强。
“已经发表了一些有趣的论文,表明如果你训练得更多,(一个较小的模型)可以是准确的,”Freund 说。 “所以在更大和训练有素之间需要权衡。”
Cerebras 创始人兼首席执行官安德鲁·费尔德曼 (Andrew Feldman) 表示:“关闭 AI 开源项目的趋势非常大……这并不奇怪,因为现在有巨额资金投入其中。” “社区的兴奋,我们取得的进步,在很大程度上是因为它是如此开放。”
Cerebras 成立于 2016 年,总部位于加利福尼亚州洛斯阿尔托斯,专门开发和制造高性能人工智能 (AI) 计算机系统,供阿贡国家实验室、劳伦斯利弗莫尔国家实验室和匹兹堡超级计算中心等组织使用,以加速他们的 AI研究与开发。
该公司的主要产品之一是 Wafer Scale Engine (WSE),这是一种巨大的半导体芯片,面积为 46,225 平方毫米,是世界上最大的计算机芯片。 WSE 包含 1.2 万亿个晶体管,旨在为 AI 应用程序提供高速处理能力,例如自然语言处理、图像和视频识别以及药物发现。
随着 ChatGPT 的流行,Cerebras 已经能够从 Benchmark、NEA 和 Moore Capital 等投资者那里筹集到大量资金。
本文来自互联网,不代表前途科技立场,如若转载,请注明出处:https://accesspath.com/tech/5827168/