这篇文章最初发表在我们的 AI 周刊《算法》中。要第一时间收到此类文章,请在此订阅。
AI 领域:规模至上?并非如此
在人工智能研究领域,似乎人人都认为“越大越好”。这种想法认为,更多数据、更多计算能力和更多参数将带来更强大的模型。这种思维方式始于 2017 年的一篇里程碑式的论文,谷歌研究人员在论文中介绍了支撑当今语言模型热潮的 Transformer 架构,并帮助将“规模至上”的理念植入 AI 社区。如今,大型科技公司似乎都在规模上展开竞争,其他一切都被抛之脑后。
“就像,兄弟,你的模型有多大?”Hugging Face AI 和气候主管 Sasha Luccioni 说。科技公司只是不断增加数十亿个参数,这意味着即使模型是开源的(大多数并非如此),普通用户也无法下载和修改它们。她说,如今的 AI 模型“太大了”。
规模带来了许多问题,例如侵入性的数据收集行为和数据集中的儿童性虐待材料,正如 Luccioni 及其合著者在最新论文中所述。更糟糕的是,更大的模型还会产生更大的碳足迹,因为它们需要更多能量才能运行。
规模带来的另一个问题是权力高度集中,Luccioni 说。扩展规模需要巨额资金,只有在大型科技公司工作的精英研究人员才有资源来构建和运行这样的模型。
“少数富有的强大公司将 AI 作为其核心产品的一部分,这造成了瓶颈,”她说。
情况并非必须如此。我刚刚发表了一篇关于一种新的多模态大型语言模型的文章,它体积小巧,却功能强大。艾伦人工智能研究所 (Ai2) 的研究人员构建了一个名为 Molmo 的开源模型系列,这些模型在性能上令人印象深刻,而使用的资源却只是构建最先进模型所需资源的一小部分。
该组织声称,其最大的 Molmo 模型拥有 720 亿个参数,在测试中胜过了 OpenAI 的 GPT-4o(据估计拥有超过万亿个参数),这些测试衡量的是理解图像、图表和文档等方面的能力。
与此同时,Ai2 表示,一个较小的 Molmo 模型拥有 70 亿个参数,其性能接近 OpenAI 的最先进模型,它将这一成就归功于更高效的数据收集和训练方法。在这里阅读我的更多相关内容。Molmo 表明,我们不需要庞大的数据集和需要大量资金和能源才能训练的庞大模型。
Ai2 的高级研究主管 Ani Kembhavi 表示,摆脱“规模至上”的思维方式是构建 Molmo 的研究人员面临的最大挑战之一。
“我们开始这个项目的时候,就想着,我们必须跳出固有思维,因为一定有更好的训练模型方法,”他说。该团队希望证明,开源模型可以与封闭的专有模型一样强大,为此,他们需要构建易于访问的模型,训练成本不会达到数百万美元。
Kembhavi 说,Molmo 表明“少即是多,小即是强,开源 [与] 封闭 [一样好]”。
缩减规模还有另一个好处。Luccioni 说,更大的模型往往能够完成比最终用户实际需要的范围更广的任务。
“大多数情况下,你不需要一个无所不能的模型。你需要一个能够完成你想要它完成的特定任务的模型。对于这一点,更大的模型并不一定更好,”她说。
相反,我们需要改变衡量 AI 性能的方式,将重点放在真正重要的方面,Luccioni 说。例如,在癌症检测算法中,我们应该优先考虑准确性、隐私或模型是否在可信数据上进行训练,而不是使用一个能够完成各种任务并在互联网上进行训练的模型,她说。
但这需要比目前 AI 领域更透明的程度。研究人员并不真正了解他们的模型是如何或为何做它们所做的事情,甚至不真正了解它们的数据集包含什么。规模是一个流行的技术,因为研究人员发现,向模型投入更多东西似乎会使它们表现得更好。研究界和公司需要改变激励机制,以便科技公司被要求更加谨慎和透明地说明其模型包含的内容,并帮助我们用更少的资源做更多的事情。
“你不需要认为 [AI 模型] 是一个魔盒,可以解决你所有的问题,”她说。
现在阅读《算法》的其余部分
深入学习
AI 剧本编辑可以帮助决定好莱坞哪些电影会被制作出来
每天,好莱坞都有无数人阅读剧本,代表制片厂寻找众多投稿中的“璞玉”。每个剧本长达 150 页,阅读一个剧本并写出摘要可能需要半天时间。由于每年只有大约 50 个剧本能够售出,因此阅读者被训练得非常苛刻。
灯光、摄像机、AI:现在,与华纳兄弟和索尼影业等主要制片厂合作的科技公司 Cinelytic 旨在利用生成式 AI 提供剧本反馈。它推出了一款名为 Callaia 的新工具,用于分析剧本。Callaia 利用 AI,只需不到一分钟就能写出自己的“报道”,其中包括概要、类似电影列表、对话和原创性等方面的评分以及演员推荐。
比特与字节
加州州长否决了该州全面的 AI 立法加利福尼亚州州长加文·纽森否决了 SB 1047 法案,该法案要求对大型 AI 系统进行部署前安全测试,并赋予该州总检察长起诉 AI 公司造成严重损害的权利。他说,他认为该法案过于关注最大的模型,而没有考虑更广泛的危害和风险。人工智能快速发展批评者对这一决定表示失望。(纽约时报)
抱歉,AI 无法“解决”气候变化OpenAI 首席执行官萨姆·奥特曼声称,AI 将带来“智能时代”,释放“难以想象”的繁荣和“惊人的胜利”,例如“解决气候变化”。但仅仅依靠科技突破无法解决全球变暖问题。事实上,就目前而言,AI 正在加剧这个问题。(麻省理工科技评论)
OpenAI 如何将自己转变为真正的企业,并因此四分五裂在又一次组织重组中,这家初创公司失去了其首席技术官米拉·穆拉蒂和其他高级领导人。OpenAI 充斥着混乱,这源于其首席执行官将公司从非营利性研究实验室转变为营利性组织的推动。内部人士表示,这种转变“腐蚀”了公司的文化。(华尔街日报)
微软为何与三哩岛达成协议,帮助其重启一家曾经关闭的核电站可能很快就会被用来为微软在 AI 开发方面的大量投资提供电力。(麻省理工科技评论)
OpenAI 向更多人发布了其高级语音模式。以下是获取方法。该公司表示,更新后的版本会对你的情绪和语气做出反应,并允许你在它说话中途打断它。(麻省理工科技评论)
FTC 正在打击 AI 诈骗该机构启动了“AI 合规行动”,并表示将调查 AI 驱动的欺诈和其他类型的欺骗行为,例如聊天机器人提供“法律建议”、AI 工具让人们创建虚假的在线评论以及对 AI 驱动的商业机会带来的巨额收益做出虚假声明。(FTC)
想要 AI 标记仇恨内容?自己构建吧。一项新的竞赛承诺向任何能够追踪在线仇恨图像的人提供 10,000 美元的奖金。(麻省理工科技评论)