支持5000万tokens!大模型+搜索架构才是未来!
-
玄姐聊AGI
2023-12-21 08:38:00
-
数据库开发技术
-
原创
▼最近直播超级多,预约保你有收获
今晚直播:《大模型在线架构设计与实现》
—1—
搜索增强技术是大模型「外挂硬盘」
12 月 19 日,百川智能发布基于搜索增强的 Baichuan2-Turbo 系列 API,在支持 192K 上下文窗口的基础上,增加了搜索增强知识库的能力。在百川智能创始人& CEO 王小川看来,「搜索增强」是大模型落地应用的关键,能够解决 99% 知识库定制化的需求。LLM 大模型落地时存在一些问题:幻觉,回答不准确;时效性差,知识无法及时更新;专业知识不足,垂直落地门槛高等。百川智能给出的解决方案是:长文本大模型+搜索增强,让模型能获取互联网实时信息,也能接入企业完整知识库。「大模型是新时代的计算机」是业内常用的比喻,上下文窗口是模型能力的内存,而王小川认为,「搜索增强」是大模型的「硬盘」,将互联网实时信息和企业知识库像硬盘一样即插即用,「外挂在计算机上」。今晚开场直播,我会详细剖析,请同学点击下方按钮预约直播。
—2—
业界搜索增强技术的解决方案
第一、学术界提出知识注入、知识研究的新研究方向,Meta Cove、Google LAMDA、OpenAI WebGPT 等都是类似理念的产物。第二、RAG(检索增强生成)成为一个热门方向,生态包括 Langchain、LlamaIndex 等热门项目。第三、OpenAI 在 11 月的开发者大会上,也发布了自研的 RAG 产品 Retrieval 检索工具 Assistants API。第四、百川智能团队提出的搜索增强+长文本+大模型的方案。在大模型无法直接落地到各种场景时,搜索能力的加入补完了大模型落地的完整技术栈。在此之前,百川发布了向量数据库,也推出了 192k 的长文本模型。在这两者的基础上,百川实现了稀疏检索和向量检索并行,以及搜索系统与大模型的对齐。经过百川智能算法团队的测试,搜索增强+长文本+大模型的方案,能够接入 5000 万 tokens 的数据集,比模型本身的 context window 提升「两个数量级」,实现 95% 精度的回答。那么,大模型的搜索增强技术到底是怎么落地的?在企业级的应用案例中如何落地实践?
3、基于Baichuan2-Turbo 构建企业级推荐系统案例实战请同学点击下方按钮预约直播,咱们今晚20点直播见!