微软加码人工智能，升级Copilot、必应和Windows

图片来源：VentureBeat 使用 Midjourney 生成

微软不甘心在其投资、合作伙伴和潜在竞争对手 OpenAI 举办第二届“DevDay”的当天屈居人后，宣布了其对 Copilot 聊天机器人、Windows 11 操作系统和 Bing 搜索引擎的一系列重大 AI 更新。

除了少数例外，所有更新都利用 AI 来为用户创造更个性化、更强大的体验，从 AI 生成的搜索结果到 AI 对话式语音界面，再到 AI 驱动的下一步行动建议。

随着微软推出这些更新，该公司表示，隐私和负责任的 AI 仍然是该公司愿景的核心——此前，该公司在今年早些时候因其不断截屏的 Windows 11 回收功能而遭到安全专家和用户的批评。

以下是微软今天宣布的内容概述：

微软的 Copilot 最初于 2023 年 2 月推出，名为 Bing Chat，后来在 2023 年 11 月更名为 Copilot，现在已更新了对话式语音模式，并能够在用户许可和选择同意的情况下，观看用户在屏幕上的活动，这些活动来自 Microsoft Edge 网络浏览器和一个名为 Copilot Labs 的新程序（类似于 Google 的 Search Labs 和 Gmail Labs 产品），但该程序仅对 Copilot Pro 订阅者（每月 20 美元）开放。

正如微软今天在博客文章中透露的那样：“在我们向所有用户发布最先进的工具之前，我们正在对一小部分用户进行试用，以收集反馈，学习，然后将这些经验教训应用回产品中——我们希望，这将使产品变得更好、更安全。对 Copilot Pro 用户来说，可以将其视为对即将推出的“正在进行中”项目的瞥见。”

备受争议的前 Google DeepMinder 创始人、现任微软 AI 执行副总裁兼首席执行官 Mustafa Suleyman 在 X 上发帖称：“我坚信，我们可以创造一个更平静、更有帮助、更支持性的科技时代，Copilot 现在变得更加直观、更加个性化、更加安全。了解更多，下载，享受。在微软 AI，我们正在为每个人创造一个 AI 伴侣。这是第一步。”

— Mustafa Suleyman (@mustafasuleyman) 2024 年 10 月 1 日

新推出的功能包括：

• Copilot Voice，允许用户通过自然语音与 AI 交互，提供四种不同的语音选项。它正在澳大利亚、加拿大、新西兰、英国和美国等英语国家/地区推出，更多地区和语言将陆续推出。

对于语音模式，微软发言人通过电子邮件告诉 VentureBeat，底层技术是 OpenAI 模型的微调版本：“Copilot Voice 基于 OpenAI 的最新模型，但由微软进行了微调。由于这种微调，Copilot Voice 的响应方式有所不同。它有 4 种独特的语音，更多语音即将推出。Copilot Voice 将对 Pro 用户和免费用户开放，Pro 帐户的时长限制更长。”

• Copilot Daily，旨在为用户提供当天可消化的概述，包括新闻和天气摘要，根据用户的兴趣量身定制。信息来自授权的内容提供商，包括路透社和《金融时报》，提供精心策划的、简化的当天开始。

• Copilot Vision，一项面向部分 Copilot Pro 用户的实验性功能，带来了视觉理解能力。用户可以与图像或网页进行交互，Copilot 将解释屏幕上的内容，以帮助用户做出决策，例如比较产品选项或建议下一步操作。

微软强调，这些会话中的任何数据都不会被存储或用于训练，强调隐私和安全。

Copilot Labs 还提供 Think Deeper，这是一项旨在处理更复杂问题的功能，为具有挑战性的查询提供详细的、分步的答案。其目标是为诸如人生决策、财务比较或诸如决定购买新车或居住地等实际困境等主题提供更深入的见解。这似乎让人想起 OpenAI 的新 o1 模型，这些模型也旨在推理并在响应之前执行“思维链”。

Copilot 还集成了创意工具，例如 Visual Search，使用户能够上传图像以供 AI 分析，无论是识别狗的品种还是根据菜肴的照片提供食谱创意。

AI 甚至可以帮助改进写作，为语气和风格提供建议，并鼓励使用工具生成故事、诗歌和图像来进行创作。

至于幕后为新的 Copilot 体验提供支持的模型，微软发言人通过电子邮件告诉 VentureBeat：“我们继续使用 OpenAI 的最新模型。此外，我们也开始将我们自己的内部技术应用于体验中。这种组合使我们能够更灵活地将最佳模型应用于每个客户与 Copilot 的交互。”

随着新更新的发布，Windows 11 继续发展成为一个更强大的 AI 操作系统，特别是对于拥有 Copilot+ PC 的用户而言。这些 AI 驱动的功能旨在提高生产力，同时保持简化的、易于使用的界面。

• Recall 允许用户立即检索其 PC 上之前查看的内容。此功能是选择加入的，并由 Windows Hello 保护，确保用户隐私得到保护。敏感信息（例如信用卡详细信息）通过额外的安全过滤器保密。

• Click to Do 通过在屏幕上叠加交互式建议，帮助用户快速执行操作。无论是重写文本、编辑图像还是启动网络搜索，此工具旨在加快工作流程，无需手动导航。Click to Do 只需点击即可访问，有望使 Copilot+ PC 上的多任务处理更加直观。

• Windows 11 中的 Improved Search 利用 AI 提供更直观的文档搜索。用户现在可以使用自然语言描述他们要查找的内容，例如“烧烤派对照片”，而无需记住特定的文件名或位置。此功能扩展到 OneDrive 搜索，提供了一种强大的方法，可以轻松查找照片和文档。

据微软发言人称，为改进的搜索提供支持的 AI 模型显然都是内部模型，他们通过电子邮件告诉 VentureBeat：“改进的 Windows 搜索模型已下载到您的 Copilot+ PC，并利用 NPU 为设置、文件资源管理器和 Windows 搜索框中的改进 Windows 搜索体验提供支持。”

这些增强功能也扩展到创意应用程序。照片中的 超级分辨率 允许用户放大低分辨率图像，而画图中的 生成填充和擦除 提供了编辑照片的精确度，例如删除不需要的对象。这些功能利用板载 AI 提供快速、高质量的结果。

微软的 AI 驱动的 Bing 随着 Bing Generative Search 的推出而不断发展。此功能超越了简单的基于关键字的查询，为更复杂的问题提供详细的、上下文丰富的答案。

Bing Generative Search 在美国以测试版推出，用户可以通过在搜索栏中键入“Bing generative search”并从显示为图像“卡片”的演示查询轮播中选择来试用其功能，这些卡片上带有标题。

与提供结果列表的传统搜索引擎不同，Bing Generative Search 旨在通过综合来自多个来源的信息并以连贯、易于消化的格式呈现信息来创造无缝体验。

这对于诸如“如何有效地进行一对一会议”或“如何从播客中消除背景噪音”之类的查询特别有用。AI 分析数百万个数据点，不仅提供答案，还提供相关的见解和更深入的解释。

Bing 将从多个来源生成自己的信息摘要——类似于 Google 有争议的“AI 概述”功能。但是，微软的看起来更具交互性，包含带有源链接和文本的弹出窗口，以及用户可以点击以快速查看摘要不同部分的交互式目录。

一个有趣的新功能是“深度搜索”按钮，用户可以点击该按钮以获得对主题的更深入、更全面的解释。该体验旨在处理信息性和复杂的查询，例如解决详细的问题或探索不熟悉的主题。该平台的目标是通过维护平衡的网络生态系统来增加对内容创作者和出版商的流量。微软提醒说，它仍处于测试阶段。

至于幕后的模型，微软公司副总裁兼搜索主管 Jordi Ribas 在我问他时告诉我，Bing 依赖于“LLM 和 SLM 的组合”，即小型语言模型（我认为是指 Phi 系列），“包括高级 GPT 模型”（我认为是指 OpenAI 在 5 月份发布并自那时以来多次更新的 GPT-4o 系列）。

— Jordi Ribas (@JordiRib1) 2024 年 10 月 1 日

作为其优先考虑负责任的 AI 的持续努力的一部分，微软已在其所有 AI 工具中集成了隐私和安全措施。根据 Copilot 常见问题解答，用户可以控制自己的数据，可以选择退出某些数据收集和 AI 训练功能。特别是在欧洲经济区 (EEA) 和英国等地区，微软完全遵守当地隐私法律。

Copilot 还旨在促进负责任的使用。AI 为其引用的来源提供引用，使用户能够核实信息。微软已将反馈循环纳入系统，鼓励用户通过内置的报告工具报告不准确或不适当的内容。

微软对负责任的 AI 的重视扩展到其与 OpenAI 的合作以及其对保护用户免受潜在误用的承诺。内容过滤和滥用检测等功能旨在防止有害的交互，确保 Copilot 和 Bing 仍然是用户安全且建设性的工具。

对隐私和安全的重视是在微软在 2024 年 5 月宣布其 Windows 11 回收功能（用于 Copilot+ PC）后，用户强烈反对之后出现的。该功能会拍摄一系列存储在用户设备上的屏幕截图，旨在允许 PC 在用户要求时返回到以前的状态。但是，安全研究人员和工程师指出，该功能的行为非常像间谍软件，尤其是因为微软最初将其作为默认安装和启用的库存功能推出，用户必须经过多个步骤才能禁用它。它现在已成为选择加入功能，并且没有与微软原始设备制造商 (OEM) 合作伙伴最初提供的一些 Copilot+ PC 捆绑在一起。

随着对 Copilot、Windows 11 和 Bing 的最新更新，微软继续将自己定位在 AI 创新的最前沿。