2024年生成式AI与数据趋势回顾:7个观点与未来展望

关注我们 深度学习LLM应用

2024年被业界专家誉为生成式人工智能(Generative AI)的丰收之年,应用案例层出不穷,技术降低了入门门槛,通用人工智能似乎触手可及。然而,事实真如预期般辉煌吗?

本文聚焦领先未来学家及投资人Tomasz Tunguz最近对2024年数据与AI现状的见解,并结合编者的解读,一起展望未来。

1

我们生活在一个缺乏“推理”的世界


Tomasz Tunguz指出,尽管生成式AI在某些领域已开始为企业创造价值,但整体仍未达到预期,特别是在“推理”能力上存在显著差距。他将当前的AI能力分为三类:

  1. 预测:AI辅助工具能够完成句子续写、代码错误修正等任务。

  2. 搜索:利用数据语料库回答问题的工具。

  3. 推理:能够完成复杂任务的多步骤工作流。


在企业组织中,AI辅助工具和搜索工具取得了一定成功,尤其是前者。然而,推理模型依然滞后,主要原因在于模型的准确性。当前模型往往难以有效地将任务分解为多个步骤,除非它们已经多次见过特定模式。

编者解读

Tomasz的观点揭示了当前生成式AI发展在企业应用领域的瓶颈所在。尽管在单一的、标准化、规范性的任务上的表现日益提升;但在应对复杂、多步骤任务时仍显乏力。这是由于AI模型在面对企业内复杂多变的业务模式(逻辑、数据与流程)时缺乏足够的训练数据和模式识别能力,准确性与适应性下降。

因此,企业在应用生成式AI时,需要更谨慎地评估其在复杂、个性化而非标准化任务中的适用性,避免过度依赖尚未成熟的推理能力。

2

AI推动ROI,但非直接创收


生成式AI的价值主要体现在成本降低和收入生成两方面。Tomasz指出,尽管AI辅助销售代表(SDRs)、数据丰富工具和推荐系统等工具能够生成大量销售线索,但这些线索的质量并不理想,难以形成健康的销售管道。因此,AI目前的主要价值更多体现在成本削减方面。例如,Klarna裁员三分之二,微软和ServiceNow的工程生产力提高了50-75%。

编者解读

这一观点强调了目前生成式AI在企业中的主要驱动力并非直接创造收入,更多是通过提高效率和降低成本来实现ROI。比如,尽管AI在生成销售线索方面有潜力,但如果这些线索的质量不高,最终可能难以转化为实际销售。

因此,企业在部署生成式AI工具时,目前应更多关注其在优化内部流程、提升生产效率和降低运营成本方面的应用,以实现更稳健的投资回报

3

AI采纳速度低于预期


与去年热潮迭起的“AI战略”不同,2024年整体上,企业领导者对AI的态度显得更为谨慎。Tomasz指出,初期试验中有部分企业未能看到预期的价值,另一些企业则在应对快速发展的技术基础设施时遇到了挑战,这导致了AI采纳与应用速度的放缓。当然,并不是说生成式AI没有价值,而是更多的企业还没搞清楚如何有效利用。

编者解读

纵观国内2024生成式AI:一方面基础技术与模型厂家如火如荼,一日千里;另一方面真正的生产力应用,特别是在B端则推进缓慢。大多属于雷声大雨点小、咨询的多落地的少、实验性的应用多真正用于生产的少。尽管一些实例雄厚的企业在AI基础设施有较大投入,但在应用层面产生的价值还不足以回报。而另一方面,很多中小企业仍然处于初期探索AI和迷茫的阶段,缺乏足够的AI认识、落地咨询与实践指导。

相信随着企业对AI技术理解的加深,以及相关基础设施和安全措施的完善,未来的企业AI采纳将更加有序和高效。企业领导者需要在此过程中保持敏锐,抓住技术成熟和市场需求之间的契机,实现AI的有效落地。

4

小模型将成为AI的未来之一


Tomasz预测,未来B2B领域将倾向于使用小规模和开源模型,而B2C领域则更可能继续采用现成的商业模型。这一趋势主要基于运营成本的考量:运行小规模的开源模型更为经济。此外,小规模模型在性能上也有优势,因为它们可以针对特定任务进行微调,避免了大型模型在多领域应用中可能出现的混淆和错误输出。

编者解读

小规模和开源模型的兴起,反映了企业在AI应用中的三大需求:定制化需求、安全性需求、成本敏感性。

B2B企业通常需要针对特定行业场景及业务流程深度定制AI应用,而掌握大量通用知识的大模型则面临有力无法施展的尴尬局面,甚至产生混淆的副作用;而借助开源小模型与私域数据的微调,拥有企业自身的专有模型,则在适用性上有更大的吸引力,且模型的小尺寸也决定其成本相对可控。B2C企业则更注重广泛适用性和用户体验,倾向于使用性能更强大的商业模型。

我们相信在2025年,随着开源社区和微调技术的发展,小规模模型将为更多企业提供灵活、经济高效的AI解决方案。

5

合成数据的重要性及其代价


随着互联网数据的日益饱和,AI模型训练所需的数据量不断增加。Tomasz指出,合成数据将在未来成为训练AI模型的重要补充。合成数据通过模型生成人工数据集,反映了在现有数据基础上的潜在模式,能够为模型提供更多的训练样本。然而,合成数据并非长久之计,其质量和多样性无法完全替代真实数据。

编者解读

合成数据可以用来增强数据集的多样性,补充一些难以搜集的真实数据(比如一些边界条件下的数据),还可以降低隐私风险。高质量的、更符合真实分布的合成数据可以用来提供更多的模型训练样本,加速学习,提升泛化能力。但合成数据也存在数据质量(无法完全模拟真实世界)、适应性与多样性的问题。

相信合成数据未来在企业训练小模型中可以发挥更大的作用节约训练数据搜集准备的时间、减少人工标注成本、补充数据集、增强对稀有数据适应能力等。

6

Agentic AI在对话中表现出色,但在生产部署上仍需突破


智能体AI应用(Agentic AI)指的是能够自主规划、决策与执行多步骤任务(借助工具)的AI工作流,比如如“撰写博客并发布到WordPress”。Tomasz认为,尽管目前的Agentic AI在对话和客户支持中展现了潜力,但其在实际部署中的准确性仍然不足。目前,Agentic AI的多步骤任务准确率约为50%,远低于商业应用所需的标准。因此,尽管Agentic AI在演示中表现出色,但在生产环境中仍需大量优化。

编者解读

AI Agent目前正无比火热,大有一统AI应用天下的趋势。但不得不说,过度的炒作美妙的前景,用演示应用来代替生产应用都是不负责任的,只会过度的拉高使用者的期望值,并不有利于行业的长远发展。

事实上我们在很多Agent开发框架的测试使用中,即使针对一些简单(比如不超过3步的任务)的场景,也在很大程度上存在输出不确定、任务规划错误、工具使用参数遗漏、意图识别混淆等多种问题。所以,相信在复杂的真实企业应用环境中将会面临更大的挑战,特别是多步骤任务的累积误差使得AI智能体在复杂任务中的可靠性和准确性亟待提升。

同时,企业应用又有着对准确性、一致性与可靠性要求的更高要求。因此,企业在考虑部署Agent应用时,应谨慎评估其在特定任务中的表现,考虑其适用场景,并关注技术的持续改进(如微调小模型),以确保其有效性和可靠性。

7

数据管道质量管理的滞后


随着AI技术的普及,企业内部的数据管道数量急剧增加。然而,Tomasz指出,数据质量管理并未同步提升,导致数据质量风险不断上升。数据管道的复杂性和数量增加,使得数据质量问题更难以监控和管理,进而影响AI模型的输出质量。

编者解读

这其实表达了企业在实施AI战略中容易忽略的一个问题:过度关注AI技术本身,而忽视了数据。无论你是需要更多的私域数据来训练私有模型,还是构建RAG管道,如果没有高质量的数据,最后的应用都是空中楼阁,达不到预期的效果。

特别是在多模态大模型的AI时代,更多的数据管道与形态被引入,以AI来挖掘价值,因此数据质量管理的滞后可能成为制约企业AI战略实施的瓶颈。

因此,除了需要采集、生成、标注更完善的企业数据之外,企业需要同步加强数据质量管理,采用自动化工具和标准化流程,提升数据治理水平。

总结与展望

整体上,Tomasz Tunguz对2024年AI与数据领域现状与挑战的观点聚焦在:尽管生成式AI在某些方面取得了显著进展,但在多步推理能力、Agentic AI的准确性以及数据质量管理等方面仍需进一步突破。展望2025年,随着小规模和开源模型的崛起、合成数据的广泛应用以及数据管道管理的优化,AI与数据技术将继续深度融入企业运营,推动业务创新与效率提升。

END

福利时间

为了帮助LLM开发人员更好的、更系统性的学习RAG应用,特别是企业级的RAG应用场景下,当前主流的优化方法与技术实现,我们编写了《基于大模型的RAG应用开发与优化 — 构建企业级LLM应用》这本500页的指南,与大家一起来深入到LLM应用开发的全新世界。

更多细节,点击如下链接了解

现在购,享50%折扣

END




交流请识别以下名片




请使用浏览器的分享功能分享到微信等