关注我们，深度学习LLM应用

在企业级RAG（检索增强生成）系统的构建中，数据是支撑整个系统的核心，而数据的整合、准备、优化与治理，直接影响到RAG系统的架构设计、技术选择和实际效果。如果你计划构建企业级的RAG系统，至少需要关注以下6个层面的数据工程问题：

我们简单阐述这个六个方面对RAG系统架构与技术的影响。

数据的来源（如不同部门的文档、数据库、API等）及其形态（结构化、非结构化、混合模态等）决定了RAG系统的输入多样性和适配能力。

• 多样化的数据需要灵活的数据源接入、加载与拆分模块、嵌入与检索技术支持。如企业关系型数据库的结构化数据的Graph化或SQL检索、各种来源与格式的非结构化文档的连接与处理、多模态内容（如图片、视频、复杂PDF等）的解析、嵌入与语义检索等。

  
  

  
  

分层分类的知识体系，完善的标签与元数据信息管理，能够帮助RAG在对企业级大规模知识库实现高效检索与组织。包括：

• 有助于RAG系统对知识库的目录、层次、分类设计，简单的大而全知识库会带来众多的检索干扰、生成质量与后期维护上的问题

  
  

• 针对不同的数据类别，可以更好的针对性设计不同的RAG管道。无论在系统性能，还是工程管理上都有更大收益

  
  

• 完善的标签与元数据可以在RAG检索过程中帮助实现分层过滤与检索，以提高精准度，减少知识间的相互干扰，提高输出质量

  
  

  
  

针对不同数据内容特点的RAG管道优化，以及数据的准确性、一致性和关联性等都是确保RAG系统提供高质量输出的前提。

数据质量是影响RAG应用效果的关键

• 不同的数据内容特点需要针对性的优化技术方案。包括：

  
  

• 问答型内容与综合性内容考虑不同的文档分割与检索方法

• 上下文语义关联特别强的知识需考虑检索块与生成块的分离

• 针对事实性知识的向量索引与针对高关联性信息的图索引

• 针对普通自然语言文本与针对带有大量符号与数字文本的不同方案

• 特定领域的高度个性化的数据可能需要结合微调模型

• 带有嵌套关系的内容可能需要考虑递归检索的方案

  
  

• 数据的质量会直接影响到最终的输出质量。包括：

  
  

• ‍错误的数据（如异常值、格式等）会带来错误的上下文与响应

• 语义的模糊、不清晰、有歧义导致向量召回的精度下降

• 太多的冗余信息会带来数据更新与检索时的性能下降
  

• 重复的知识可能需要考虑筛选的机制，如根据时间戳等

• 不同位置信息的不一致会带来检索时的知识干扰，带来不确定性

  
  

不同的数据有不同的使用场景（使用者、任务特点、访问频率、是否多轮对话等），综合考虑场景特点以决策RAG系统的技术方案，可以大大提升实施效果。

不同的查询任务需要不同的技术

包括：

• 事实性的输入问题可能普通RAG就能满足，但是对于基于综合知识理解的概要性任务可能需要借助GraphRAG或者独立的基于摘要的应答引擎

• 综合性的跨知识源的查询任务需要考虑借助Agentic RAG实现子任务推理
  

• 单次的简单查询还是多轮对话，会影响到RAG系统对多轮上下文的处理与优化的方式

• 多用户环境中是否需要考虑个性化，决定了RAG系统是否需要具备长期记忆与记忆检索能力
  

• 高频的相同语义问题可以考虑给RAG系统增加缓存方案

  
  

  
  

RAG系统依赖于链接的知识库来获得更高的时效性与准确性，而这依赖于底层知识数据的持续更新。因此数据的维护更新机制对RAG系统的设计与效果有重要的影响。

具体包括：

• RAG系统需要从架构上同时支持数据全量更新与增量更新的机制

• 针对实时更新与定时批量更新的两种不同系统设计

• 需要考虑针对不同数据来源、不同加载方式的数据增量更新机制

• 需要考虑针对文档级别还是块（Chunk）级别的增量更新
  

• 不同索引类型（如向量与图索引）的增量更新可能需要数据库支持

• 要考虑复杂企业环境下的数据更新过程中的准确性、一致性、冲突检测

• 要考虑大面积的知识更新后的RAG应用重新评估的机制

  
  

  
  

企业对数据安全的要求是RAG系统建设中一个重要的考量因素。这些要求不仅体现在对数据本身的保护（如隐私、权限、加密等），还会直接影响系统的工程决策，如开发部署平台、底层大模型的选择等。

• 根据数据的安全要求来考虑底层大模型的选择以及应用的部署方式

• RAG应用系统自身的数据访问权限控制。比如如何身份验证与授权、如何限制不同人员、不同渠道可以接入的RAG管道与知识库
  

• 要考虑LLM API访问、以及RAG API访问的安全机制

• 考虑是否需要集成内容审核工具甚至借助LLM拦截不合规的输出

• 在模型生成内容时进行上下文监控以限制敏感、隐私数据的泄漏

• RAG系统需要具备完备的日志管理，以用于后续可能的安全审查
  

• 要有完备的平台或工具实现对RAG使用的监控、分析甚至预警

企业在构建RAG应用时，需充分重视与针对这6个数据问题，展开技术优化与流程设计，可以显著提升RAG系统的可靠性、准确性与安全性，同时确保其在实际业务场景中的有效应用。

为了帮助LLM开发人员更系统性与更深入的学习RAG应用，特别是企业级的RAG应用场景下，当前主流的优化方法与技术实现，我们编写了《基于大模型的RAG应用开发与优化 — 构建企业级LLM应用》这本长达500页的开发指南，与大家一起来深入到LLM应用开发的全新世界。

更多细节，点击如下链接了解

现在购，享50%折扣