AI 浪潮下的数据洪流：Observo AI 如何破局？
人工智能的蓬勃发展带来了前所未有的数据爆炸。AI 模型需要海量数据进行训练，而它们所驱动的应用，无论是内部工具还是面向客户的应用程序，都产生了大量的遥测数据：日志、指标、跟踪等等。
即使是已经存在了一段时间的可观测性工具，也难以应对这种数据洪流，导致组织难以及时发现和响应事件。而 Observo AI 的出现，为这一难题带来了新的解决方案。
这家位于加州的初创公司，刚刚获得了 Felicis 和 Lightspeed Venture Partners 的投资，他们开发了一个平台，利用 AI 技术创建原生数据管道，自动管理不断增长的遥测数据流。最终，这帮助 Informatica 和 Bill.com 等公司将事件响应时间缩短了 40% 以上，并将可观测性成本降低了一半以上。
现代企业系统持续生成 PB 级别的运营数据。这些数据虽然包含一定价值，但并非每个数据点都是识别事件的关键信号。这使得团队需要从大量数据中筛选出关键信息，才能用于响应系统。如果将所有数据都输入系统，成本和误报率会大幅增加。另一方面，如果只选择部分数据，可扩展性和准确性会受到影响，最终导致威胁检测和响应的失败。
KPMG 最近的一项调查显示，近 50% 的企业遭受了安全漏洞，其中数据质量差和误报是主要原因。虽然一些安全信息和事件管理 (SIEM) 系统以及可观测性工具使用基于规则的过滤器来减少噪音，但这种僵化的方式无法适应不断增长的数据量。
为了解决这一问题，Gurjeet Arora，曾领导 Rubrik 的工程团队，开发了 Observo 平台，利用 AI 技术优化这些运营数据管道。
Observo 平台位于遥测数据源和目标之间，使用机器学习模型分析传入的数据流。它能够理解这些信息，并根据重要程度将数据分类：高价值的事件警报和响应系统，或更经济的数据湖，涵盖不同的数据类别。本质上，它能够自主识别高重要性信号，并将它们路由到正确的位置。
“Observo AI…动态学习、适应和自动化复杂数据管道中的决策，”Arora 告诉 VentureBeat。“通过利用机器学习和大型语言模型，它可以过滤掉嘈杂的非结构化遥测数据，只提取对事件检测和响应最关键的信号。此外，Observo 的 Orion 数据工程师可以自动化各种数据管道功能，包括使用自然语言查询功能获取洞察力。”
更令人兴奋的是，该平台能够持续学习和进化，主动调整过滤规则，实时优化数据源和目标之间的管道。这确保了它能够跟上新出现的威胁和异常，而无需设置新的规则。
Observo AI 架构
Observo AI 已经运营了 9 个月，并已吸引了十多家企业客户，包括 Informatica、Bill.com、Alteryx、Rubrik、Humber River Health 和 Harbor Freight。Arora 指出，他们已经实现了 600% 的季度环比收入增长，并且已经吸引了一些竞争对手的客户。
“我们目前最大的竞争对手是另一家初创公司 Cribl。我们拥有与 Cribl 明显的产品和价值差异，并且已经在一些企业中取代了他们。从最高层面上来说，我们对 AI 的使用是关键的差异化因素，这带来了更高的数据优化和丰富，从而带来更好的投资回报率和分析，最终实现更快的事件解决，”他补充说，并指出该公司通常可以优化数据管道，将“噪音”减少 60-70%，而竞争对手只能减少 20-30%。
这位首席执行官没有透露上述客户如何从 Observo 中获益，但他确实指出了该平台能够为在高度监管行业运营的公司做些什么（没有透露具体名称）。
在一个案例中，一家大型北美医院正在努力应对来自不同来源的安全遥测数据量的增长，导致数千个无关紧要的警报，以及 Azure Sentinel SIEM、数据保留和计算的巨额支出。该组织的安全运营分析师试图创建临时管道来手动采样和减少摄入的数据量，但他们担心可能会错过一些可能产生重大影响的信号。
借助 Observo 的特定于数据源的算法，该组织最初能够将摄入 Sentinel 的总日志量减少 78% 以上，同时完全接入所有重要数据。随着该工具的不断改进，该公司预计在头三个月内将减少 85% 以上。在成本方面，它将 Sentinel 的总成本（包括存储和计算）降低了 50% 以上。
这使得他们的团队能够优先处理最重要的警报，从而将关键事件的平均解决时间缩短了 35%。
同样，在另一个案例中，一家全球数据和 AI 公司能够将其日志量减少 70% 以上，并将 Elasticsearch 可观测性和 SIEM 的总成本降低了 40% 以上。
作为下一步，该公司计划加快其市场推广工作，并挑战该领域的其他玩家，包括 Cribl、Splunk、DataDog 等。
该公司还计划通过更多 AI 功能、异常检测、数据策略引擎、分析以及源和目标连接器来增强产品。
根据 MarketsAndMarkets 的洞察，全球可观测性工具和平台的市场规模预计将从 2023 年的 24 亿美元增长到 2028 年的 41 亿美元，年复合增长率接近 12%。
