Google DeepMind 发布基于 Gemini 的 Magic Pointer,让光标能理解屏幕上下文,用户只需指向即可获得 AI 帮助。首批实验功能已在 Google AI Studio 上线,Chrome 版本也开始推送。
Google DeepMind 周一在 The Android Show: I/O Edition 上展示了一项新功能——Magic Pointer,由 Gemini 驱动的 AI 光标。它旨在将计算机交互中最基础的元素——鼠标指针——变成一个理解上下文的人工智能工具。
与传统方式不同,Magic Pointer 不需要用户把内容复制到聊天窗口再写详细的指令,而是让 Gemini 直接“看到”用户指向的内容,并理解用户想做什么。DeepMind 团队在博客中描述了四个设计原则:保持工作流不受干扰(不用“绕道 AI”)、自动捕获视觉和语义上下文、支持自然指令如“改这里”或“移到那”、将屏幕像素转化为可操作的结构化信息(如日期、地点、物体)。

在 Chrome 中,用户可以在网页上选择商品,然后让 Gemini 进行比较;或者指向房间照片的某个位置,要求 AI 想象放置新家具的效果。PCWorld 在测试早期演示后表示,该技术“显示了潜力,但仍显得笨拙且受限”,需要进一步打磨才能日常使用。
Magic Pointer 的深度融合将体现在 Googlebook 上——这是 Google 同时公布的一个全新 AI 优先笔记本电脑系列。与以浏览器为中心的 Chromebook 不同,Googlebook 围绕 Gemini Intelligence 和 Android 技术构建,硬件合作伙伴包括 Acer、Asus 和 Dell,预计今年晚些时候发货。
在 Googlebook 上,AI 指针将在整个操作系统中工作:把光标悬停在邮件中的日期上,就能提醒创建日历事件;选中家具图片和房间照片,就能触发布置方案的视觉预览。这些笔记本的机身上还有一个“光条”,在 AI 指针激活时会闪烁,作为隐私提醒的物理信号。
隐私问题不容忽视。为了让光标理解任意屏幕内容,它需要持续分析显示器上的画面——这让人联想到微软的 Recall 功能,后者因监控担忧而饱受争议。Google 尚未详细说明 Magic Pointer 交互的数据保留和处理方式,Chrome 版本的推送也是逐步进行。Android Authority 报道称,他们暂时无法直接使用该功能。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断