微软的 Bing AI 在上周的发布演示中犯了几个事实错误; “完全编造了一些答案”

微软的 Bing AI 在上周的发布演示中犯了几个事实错误; “完全编造了一些答案”

首先是谷歌。现在,事实证明,微软必应甚至在上周的 Bing AI 发布演示中犯了更严重的事实错误。微软在展示其新的 AI-Powered Bing 后让观众惊叹不已,因为它试图在搜索领域挑战谷歌,而谷歌目前控制着 90% 以上的市场。然而,“Bing AI 在其演示过程中得到了一些完全错误的答案,而且没有人注意到。”

在上周的聊天机器人技术演示中,嵌入在该公司 Bing 搜索引擎中的类似 ChatGPT 的技术分析了几份收益报告,但为 Gap 和 Lululemon 生成了一些不正确的数字。该演示在社交上获得了许多人的好评。微软还表示,在最初的 48 小时内,超过 100 万人注册试用了微软的新 AI 工具。

然而,在将 Bing AI 的答案与实际报告进行比较时,聊天机器人遗漏了一些数字。其他一些答案似乎是刚刚编造的。独立搜索研究员 Dmitri Brereton 在周一发表的题为“Bing AI 不可信任”的 Substack 帖子中写道:

“Bing AI 在他们的演示中得到了一些完全错误的答案。但是没有人注意到。相反,每个人都跳上了 Bing 炒作列车。”

布雷顿补充道。

“谷歌的巴德在广告中答错了,每个人都注意到了。现在的叙述是“谷歌急于赶上必应并犯了错误!如果必应在自己的演示中没有犯下更严重的错误,那将是一个很好的叙述,”

在将 Bing AI 演示的答案与真实数据仔细比较后,Brereton 发现微软演示中可能存在的事实问题,除了财务错误外,还包括对真空吸尘器规格和墨西哥旅行计划的回应。

在接受 CNBC 采访时,Brereton 说:“他最初并不是在寻找错误,只是在他更仔细地观察以比较微软和谷歌的 AI 发布时才发现它们。”

宠物吸尘器

当 Bing AI 被要求寻找最好的宠物吸尘器时,Brereton 检查了 Bing AI 的表现。以下是一切的进展情况。 Bing AI 的答案显示在下面的屏幕截图中。

“根据这份优缺点列表,‘Bissell Pet Hair Eraser Handheld Vacuum’听起来很糟糕。吸力有限、电源线短、噪音大到吓到宠物?哎呀,这东西怎么会是畅销书?

“哦,等等,这完全是捏造的信息,”布雷顿写道。

Bing AI 很友好地给了我们它的来源,所以我们可以去 hgtv 文章自己检查一下。

引用的文章没有提到有限的吸力或噪音。事实上,该产品的亚马逊顶级评论谈到了它的安静程度。

这篇文章也没有提到“16 英尺的短线长度”,因为它没有线。这是一款便携式手持吸尘器。

我希望 Bing AI 喜欢被起诉诽谤。”

微软的 Bing AI 在上周的发布演示中犯了几个事实错误; “完全编造了一些答案”

点击查看大图

Bing AI 演示期间犯下的最严重错误

根据 Brereton 的说法,到目前为止,演示期间犯的最严重的错误是 Gap 财务报表摘要。 Brereton 称其为“最出乎意料的”,“我认为此时总结文档对 AI 来说是微不足道的。但 Bing AI 设法获取了一份简单的财务文件,并把所有的数字都弄错了。”

微软的 Bing AI 在上周的发布演示中犯了几个事实错误; “完全编造了一些答案”

以下是 Brereton 的调查结果。

“Gap Inc. 报告净销售额为 40.4 亿美元,比去年增长 2%,可比销售额同比增长 1%”

Bing AI 起步不错。这个说法是完全正确的,可能是因为它是直接从财务单据上复制粘贴过来的。

“Gap Inc. 报告的毛利率为 37.4%,根据与 Yeezy Gap 相关的减值费用进行调整,商品利润率较去年下降 370 个基点,原因是折扣力度加大和商品价格上涨导致通货膨胀”

呃……不。那是未经调整的毛利率。经减值费用调整后的毛利率为 38.7%。如果我们针对减值费用进行调整,商品利润率下降了 480 个基点。

别担心,情况会变得更糟。

“Gap Inc. 报告营业利润率为 5.9%,经减值费用和重组成本调整后每股摊薄收益为 0.42 美元,经减值费用、重组成本和税收影响调整。”

“5.9%”既不是调整后的值,也不是未调整后的值。这个数字甚至没有出现在整个文档中。它完全是编造的。

包括减值在内的营业利润率为 4.6%,不包括减值的营业利润率为 3.9%。

稀释后的每股收益也是一个完全虚构的数字,没有出现在文件中。调整后的摊薄每股收益为 0.71 美元,未经调整的每股收益为 0.77 美元。

“Gap Inc. 重申了其 2022 财年全年指引,预计净销售额将以较低的两位数增长,营业利润率约为 7%,摊薄后每股收益为 1.60 美元至 1.75 美元。”

不……他们预计净销售额不会出现两位数的低增长。他们预计净销售额将下降中个位数。

而且我在这份文件中没有看到任何关于营业利润率或稀释后每股收益的未来前景的任何内容。所以 Bing AI 要么从一个单独的文件中得到它,要么完全编造出来

结论

在微软的辩护中,一位公司发言人在演示期间表示,“我们认识到仍有工作要做,并预计系统可能会在此预览期间出错,这就是为什么反馈至关重要,以便我们可以学习和帮助模型变得更好。”微软还表示,它知道这些错误,并预计 Bing AI 会犯错误。

“我们知道这份报告,并在我们努力改善这种体验的过程中分析了它的发现。”

虽然这两家科技巨头都急于将新型生成式 AI 集成到各自的搜索引擎中,并渴望在 ChatGPT 爆炸式增长后展示自己的进步,但这两家公司似乎还有很长的路要走。

本文来自互联网,不代表前途科技立场,如若转载,请注明出处:https://accesspath.com/tech/5817987/

(0)
定国的头像定国
上一篇 2023年2月15日 下午12:02
下一篇 2023年2月15日 下午12:16

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注