2025年数据质量与人工智能十大趋势

IT科技互联网3个月前发布 iowen

45,949 00

根据行业专家的说法，2024年注定将是生成式人工智能的辉煌之年。运营用例正在浮出水面，技术正在降低进入门槛，通用人工智能显然即将来临。

那么……这些事情发生了吗？

嗯，可以说发生了。在2024年末，一些预测已经变得非常准确。其余的还需要更多时间（我指的是通用人工智能）。

以下是由领先未来主义者和投资者Tomasz Tunguz对2024年底数据和AI的看法——以及我个人的一些预测。

2025年数据工程趋势即将来临。

我们正生活在一个没有理性理解的世界中（Tomasz）
在我们的人工智能乌托邦世界的第三年，我们开始看到一些业务在预期的领域创造了价值——但并非全部。根据Tomasz的说法，目前AI的状态可以总结为三个类别。
预测：能够完成句子或纠正代码错误的人工智能副驾。
搜索：利用数据集回答问题的工具。
推理：多步骤工作流，可以完成复杂任务。

虽然AI副驾和搜索工具在企业组织中已获得一定成功（特别是前者），但推理模型似乎仍然落后。根据Tomasz的说法，这显然有明确的原因。

模型准确性。

Tomasz解释说，当前的模型如果不曾多次看到特定模式，就难以有效地将任务分解为步骤。而这对于这些模型可能被要求执行的大部分工作来说，并不是事实。

“目前……如果一个大型模型被要求生成一张FP&A图表，它可以做到。但如果有一些重要的不同之处——例如，我们从软件计费转向基于使用的计费——它就会迷失。”

因此，目前看来，AI副驾和部分准确的搜索结果最为成功。

流程 > 工具（Barr）
新工具的好坏取决于支持它的流程。

随着“现代数据堆栈”在过去几年不断演进，数据团队有时发现自己一直处于不断尝试的状态。他们过于关注平台的“是什么”，而忽略了（可能更重要的是）“如何”利用它。

但随着企业环境逐渐接近生产就绪的人工智能——弄清楚如何操作这一系列新工具变得越来越紧迫。

让我们以数据质量为例。在2024年，随着喂养AI的数据成为焦点，数据质量也步入了聚光灯下。面对生产就绪的AI，企业数据领导者没有时间从数据质量菜单中进行挑选——这里做几个dbt测试，那里做几个点解决方案。他们现在必须提供价值，并且需要能够有效上架和部署的可信解决方案。

随着企业数据领导者面对生产就绪的AI的可能性，他们没有时间从数据质量菜单中进行挑选——这里做几个dbt测试，那里做几个点解决方案。他们现在就必须提供业务价值，并需要能够有效上架和部署的可信解决方案。

现实是，即使你拥有了市场上最先进的数据质量平台——最先进的自动化、最好的副驾、最闪亮的集成——如果你不能快速让组织运行起来，你实际上拥有的只是一个预算项目和桌面上的新标签。

在接下来的12个月里，我预计数据团队将倾向于使用经过验证的端到端解决方案，而非临时拼凑的工具包，以优先考虑更关键的挑战，如数据质量所有权、事故管理以及长期领域赋能。

能够实现这些优先事项的解决方案将在AI领域胜出。

AI正在推动ROI——但不是营收（Tomasz）
就像任何数据产品一样，生成式AI的价值以两种形式出现：降低成本或创造营收。

在创造营收方面，你可能会有类似AI SDRS、丰富机器或推荐系统的东西。根据Tomasz的说法，这些工具可以产生大量的销售线索……但不会是一个健康的销售线索来源。因此，如果它不能创造营收，AI需要降低成本——在这方面，这种新兴技术确实找到了一些立足点。

“没有多少公司通过它来达成业务。主要是降低成本。Klarna裁掉了三分之二的员工。微软和服务网的工程生产力提高了50%至75%。”

根据Tomasz的说法，如果满足以下三个标准之一，那么AI用例就可能带来成本降低的机会：

重复性工作
具有挑战性的劳动力市场
紧迫的招聘需求
Tomasz提到的一个有效驱动新营收的组织范例是EvenUp——一家自动化需求函的交易性法律公司。像EvenUp这样的组织，支持模板化但高度专业化的服务，可能在当前形式的AI中看到不成比例的影响。

AI采用速度低于预期——但领导者在等待时机（Tomasz）
与一年前被广泛接受的“AI策略”浪潮相比，今天的领导者似乎普遍后退了一步。

“去年有一波浪潮，人们尝试了各种各样的软件只是为了看看它。他们的董事会想知道他们的AI策略。但现在那个早期浪潮出现了很大变动。”

尽管一些组织在其早期实验中未看到价值，另一些则在底层技术的快速演变中挣扎。据Tomasz介绍，这是投资AI公司面临的最大挑战之一。这并非理论上的技术没有价值，而是组织尚未找到如何在实践中有效利用它的方法。

Tomasz认为，下一次采用浪潮将与第一次不同，因为领导者将更了解他们需要什么——以及在哪里可以找到。

就像大戏前的彩排，团队知道他们正在寻找什么，他们已经解决了法律和采购（特别是数据丢失和预防）中的许多问题，并且当正确机会出现时，他们已准备好行动。

明天的大挑战：如何更快地找到和销售价值？

小数据是AI的未来（Tomasz）
开源与管理的辩论与……某种古老的东西一样悠久。但在AI方面，这个问题变得更加复杂。

在企业层面，这不仅仅是一个控制或互操作性的问题——尽管这可能确实起到作用——它是一个运营成本的问题。

虽然Tomasz认为最大的B2C公司将使用现成的模型，但他预计B2B将转向他们自己的专有和开源模型。

“在B2B领域，你将看到更小的整体模型，更多的整体开源模型。这是因为运行小的开源模型要便宜得多。”

但这不仅仅是钱的问题。小模型也提高性能。就像Google一样，大型模型旨在服务于各种用例。用户可以向大型模型询问任何有效的问题，因此该模型需要通过足够大的数据集进行训练，以提供相关的响应。水球。中国历史。法式吐司。

不幸的是，模型训练的主题越多，混淆多个概念的可能性就越大——并且随着时间的推移，输出的错误也会越多。

“你可以用像llama 2这样的模型，具有80亿个参数，用10000个支持票证进行微调，其性能将大大提高。”Tomasz说。

此外，ChatGPT和其他管理解决方案经常在法庭上因数据权利问题而受到挑战。

在许多情况下，这可能是正确的。

除了成本和性能外，这可能会影响专有模型的长期采用——特别是在高度监管的行业——但这种影响的严重程度仍不确定。

当然，专有模型也不会束手就擒。如果Sam Altman有话说，专有模型肯定不会束手就擒。（如果Twitter教会了我们任何东西，那就是Sam Altman有很多要说的话。）

专有模型已经积极削减价格以推动需求。像ChatGPT这样的模型已经将价格削减了大约50%，并且预计在未来6个月内再削减50%。这种成本削减对于希望在AI竞赛中竞争的B2C公司来说可能是一个急需的福音。

分析师与数据工程师之间的界限正在模糊（Barr）
在扩展管道生产方面，数据团队通常会遇到两个挑战：分析师缺乏足够的技术经验，数据工程师缺乏足够的时间。

听起来像是AI的问题。

当我们展望数据团队可能如何演变时，我认为有两项主要发展可能会在2025年推动工程和分析职责的整合：

需求增加——随着商业领导者对数据和AI产品的兴趣增长，数据团队将被要求用更少的人做更多的事情。为了尽量减少瓶颈，领导者将自然地赋予以前专门化的团队更多责任，以便为他们的管道及其相关方承担更多责任。
自动化改进——新的需求总能推动新的创新。（在这种情况下，这意味着AI驱动的管道。）随着技术自然变得越来越自动化，工程师将被赋予用更少的人做更多的事情的能力，而分析师将被赋予更多地独立工作的能力。
论点很简单——随着需求增加，管道自动化将自然演进以满足需求。随着管道自动化演进以满足需求，创建和管理这些管道的障碍将减少。技能差距将缩小，增加新价值的能力将提高。

转向自助服务的AI驱动管道管理意味着每个人最痛苦的工作部分将被自动化，同时他们创建和展示新价值的能力将扩大。听起来像是一个美好的未来。

合成数据很重要——但有代价（Tomasz）
你可能见过蛇吞噬自己尾巴的形象。仔细看，它与当代AI惊人地相似。

目前互联网上有大约21至25万亿个令牌（单词）。今天的生产AI模型已经使用了所有这些数据。为了使数据继续进步，需要一个更大的数据集来进行训练。数据越多，输出可用的上下文就越多——输出也就越准确。

那么，当AI研究人员用完训练数据时，他们会怎么做？

他们自己制造。

随着训练数据变得越来越稀缺，像OpenAI这样的公司认为合成数据将是未来训练模型的重要部分。在过去24个月里，整个行业已经发展，以服务于这一愿景——包括像Tonic这样的生成合成结构化数据的公司，以及为金融和医疗保健等受监管行业创建合规数据的Gretel公司。

但合成数据是一个长期解决方案吗？很可能不是。

合成数据通过利用模型来创建反映可能在有机情况下（在另一个数据实际存在的现实世界中）找到的人工数据集，并使用这些新数据来训练自己的模型。在小范围内，这实际上很有意义。就像人们常说的那样，好东西太多……

你可以把它想象成上下文营养不良。就像食物一样，如果新鲜有机数据源是模型训练的最营养的数据，那么从现有数据集中提取的数据，其性质本质上必须比之前的原始数据营养更差。

一点人工调味品是没问题的——但如果合成训练数据的饮食持续进行而没有引入新的草养数据，这个模型将最终失败（或者至少指甲床的吸引力会明显减弱）。

这并非是否的问题，而是何时的问题。

根据Tomasz的说法，目前我们距离模型崩溃还很远。但随着AI研究继续推动模型达到其功能极限，不难想象一个AI达到其功能顶峰的世界——可能比预期更早。

无结构化数据堆栈将出现（Barr）
在生产中利用无结构化数据并不是什么新鲜事——但在AI时代，无结构化数据的角色发生了巨大变化。

根据IDC的一份报告，当前只有大约一半的组织无结构化数据正在被分析。

这一切即将改变。

就生成式AI而言，企业成功很大程度上取决于用于训练、微调和增强的无结构化数据的丰富性。随着越来越多的组织寻求为企业用例操作AI，对无结构化数据的兴趣——以及正在发展的“无结构化数据堆栈”——将继续增长。

一些团队甚至正在探索如何使用额外的大语言模型为无结构化数据添加结构，以扩大其在额外训练和分析用例中的有用性。

识别组织内部存在的无结构化第一方数据——以及如何可能激活这些数据以供相关方使用——是数据领导者展示其数据平台的商业价值（并希望在优先事项上获得额外预算）的绿地机会。

如果2024年是探索无结构化数据的潜力——那么2025年将全部关于实现其价值。问题是……哪些工具将浮出水面？

智能体AI在对话中很好——但不适合部署（Tomasz）
如果你现在在风投池子里游动，你可能会经常听到几个术语：‘副驾’，这是一个用于完成单个步骤（如纠正糟糕代码）的AI的花哨术语，以及‘智能体’，这是一个多步骤工作流，可以收集信息并使用它来执行任务（例如，写一篇关于我糟糕代码的文章并发布到我的WordPress上）。

毫无疑问，2024年AI副驾取得了许多成功（问问GitHub、Snowflake、微软的纸夹等），那么AI智能体呢？

虽然“智能体AI”对客户支持团队造成了不少混乱，但看来这可能是近期的全部目标。尽管这些早期的AI智能体是向前迈出的重要一步，但这些工作流的准确性仍然很差。

为上下文，AI的75%-90%的准确性是当前最先进的。大多数AI相当于高中生的水平。但如果你有三个步骤的75-90%的准确性，你的最终准确性将在50%左右。

我们训练大象画图的准确性都要比这好得多。

对于组织来说，这些AI智能体不仅不能推动收入，反而会带来损害。根据Tomasz的说法，我们首先需要解决这个问题。

能够讨论它们很重要，但在实际演示之外，没有人取得过任何成功。因为无论硅谷的人们多么喜欢谈论AI智能体，这种讨论并不能转化为性能上的提升。