在设计面向最终用户的大语言模型(LLM)工具时,一个至关重要的产品设计问题是:“用户对AI了解多少?” 这个问 […]
在设计面向最终用户的大语言模型(LLM)工具时,一个至关重要的产品设计问题是:“用户对AI了解多少?” 这个问题之所以关键,是因为任何成功的产品设计都始于对用户的深刻理解。试想,如果构建一个网站时假设所有访客都精通中文,于是网站全部采用中文,但实际用户却都说西班牙语。即便网站本身设计精良,这个根本性的错误假设也会使其成功几率大打折扣。设计基于LLM的工具亦是如此。
因此,在为用户构建基于LLM的工具时,必须首先审视用户是如何理解LLM的。例如,用户可能存在以下认知状态:
用户研究是产品设计中极其重要的一环。在构建基于LLM的工具时跳过这一步,是一个重大失误。不能假设自己了解目标用户过去如何体验LLM,更不能假设自身的经验能代表用户。
幸运的是,已有一些优秀的研究为此提供了指引。印第安纳大学医学院的Cassandra Jones-VanMieghem、Amanda Papandreou和Levi Dolan提出的“四人框架”揭示了用户对AI的几种典型视角。虽然该研究基于医疗背景,但其框架具有普适性。
基于此框架,可以认为,过度乐观和过度悲观的观点通常都源于对技术认知的不足,但二者代表的是截然不同的用户类型。信息水平和情感倾向(包括强度和性质)共同塑造了用户画像。与原作者认为“狂热者信息充分”的观点略有不同,实际上,对AI能力的不切实际期望,往往植根于知识缺乏或信息摄入不平衡。
这为设计新的LLM解决方案提供了丰富的思考维度。产品开发者有时会陷入一个误区,即只关注信息水平这一轴线,而忘记了社会对这种技术的情感态度差异巨大,并且对用户如何接受和体验这些产品具有同等重要的影响。
值得思考的是,为何用户画像和情感态度会如此多元。许多我们日常使用的其他技术并未引发如此两极分化的看法。LLM和其他生成式AI对我们来说相对较新,这固然是部分原因,但生成式AI的一些独特定性特征,可能对人们的反应产生了特别的影响。Pinski和Benlian对此有深入研究,他们指出生成式AI的关键特性可能颠覆人机交互研究者对既有互动关系的预期。
过去几十年,随着计算融入日常生活,我们已经习惯于一定程度的可重复性。点击按键或按钮,计算机的响应每次大致相同。这赋予了一种可信赖感,我们知道只要学会达成目标的正确模式,就能依赖这些模式保持一致性。生成式AI打破了这种契约,因为其输出具有非确定性。普通技术用户很少经历相同的按键或请求返回出乎意料且每次都不同的结果,这无疑会破坏他们可能建立的信任。当然,非确定性有其充分理由,一旦理解技术,这只是需要与之协作的另一个特性,但在认知不足的阶段,这可能带来问题。
这本质上是“黑箱”的另一种说法。构成生成式AI基础的神经网络,其特性在于,即使是直接与技术打交道的人,也无法完全解释模型“为何如此行事”。我们无法整合并解释网络中每一层每个神经元的权重,因为它过于复杂,变量太多。虽然有许多有用的可解释AI解决方案可以帮助理解影响单个预测的杠杆,但对这些技术工作原理进行更广泛的解释并不现实。这意味着我们必须接受一定程度的不可知性,这对于科学家和好奇的普通人来说,都可能难以接受。
将生成式AI融入半自主智能体的趋势日益增强,这驱使这些工具在越来越少的监督和人类用户控制下运行。在某些情况下,这可能非常有用,但也可能引发焦虑。考虑到这些工具具有非确定性和宏观上的不可解释性,自主性可能让人感觉危险。如果我们不总是知道模型会做什么,也不完全理解它为何这样做,那么一些用户认为这不是一种可以在无监督情况下安全运行的技术,也情有可原。尽管在不断开发评估和测试策略以试图防止不良行为,但一定程度的风险是不可避免的,任何概率性技术都是如此。另一方面,生成式AI的某些自主性也可能导致用户完全意识不到AI在特定任务中的参与。它可以在幕后默默工作,用户可能对其存在毫无察觉。这是AI输出变得与人类有机创作的材料难以区分的更大担忧领域的一部分。
当然,这并不意味着构建涉及生成式AI的产品和工具是不可行的。相反,这意味着应该仔细审视生成式AI是否适合眼前的问题或任务,并确保已权衡了风险与可能的收益。这始终是第一步——确保AI是正确的选择,并且愿意接受使用它所带来的风险。
在此之后,对产品设计者的建议如下:
归根结底,这些经验教训中的许多内容对所有技术产品设计工作都是很好的建议。然而,需要强调的是,生成式AI极大地改变了用户与技术互动的方式,也代表了我们对技术期望的重大转变。因此,在将此类产品推向世界之前,比以往任何时候都更需要仔细审视用户及其起点。正如许多组织和公司正在艰难地认识到的那样,新产品是留下印象的机会,但这种印象可能很糟糕,也可能很好。留下深刻印象的机会很大,但破坏与用户的关系、摧毁他们对你的信任、并让自己陷入严重的损害控制工作的机会也同样巨大。因此,从一开始就要谨慎和认真!祝你好运!
https://scholarworks.indianapolis.iu.edu/items/4a9b51db-c34f-49e1-901e-76be1ca5eb2d
https://www.sciencedirect.com/science/article/pii/S2949882124000227
https://www.nature.com/articles/s41746-022-00737-z
https://www.tandfonline.com/doi/full/10.1080/10447318.2024.2401249#d1e231
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断