你好啊,我是雨飞,见字如面。感谢你的阅读,期待我们下一次的相遇 ⁄(⁄⁄•⁄ω⁄•⁄⁄)⁄
大模型输出的结果会包含一些事实性的错误,或者和用户的输入出现矛盾的现象,这个就是所谓的大模型的幻觉。
这个幻觉产生的原因主要有三个,第一数据源的问题,在训练数据中包含错误或者歧视、偏见等有害信息。
第二,模型结构和训练方式的问题,transformer 本身的结构不足以记住所有的知识,而且 RLHF 的策略使大模型更倾向于人类偏好而并非真实性。
第三,模型推理的问题,目前使用的采样技术存在随机性,而且这种解码的方式并非全局最优解。
因此,大模型检索的幻觉问题,只能避免,而且不能完全保证不会发生。因此 AI+搜索工具,就在一定程度上解决这个幻觉问题。
我现在主要在用的 AI+搜索引擎主要有下面几个,其中 deev.ai 算是专业代码领域的搜索引擎,其他几个都是通用领域的。
1、https://www.perplexity.ai/
2、https://metaso.cn/
3、https://www.tiangong.cn/
4、https://devv.ai/zh
AI 搜索工具原理
本质上 AI 搜索工具的处理原理还是将用户输入的内容去做 RAG 或者去调去搜索引擎获取答案,然后将所有的信息让大模型进行组装和分析,这在一定程度上可以避免幻觉问题,而且可信度会更高。比如,devv.ai 的开发者就曾分享过他们构建的一些思路。
大模型与 AI 搜索对比
我们对比几个实际案例,就可以很清楚的看到 AI 搜索引擎和传统大模型对话的区别。
首先,是目前地表最强的大模型 Claude3.5 Sonnet 的回答结果,可以看出来 Claude 的知识更新岛 24 年 4 月份,虽然回答了很多内容,但是幻觉问题还是比较严重的。当然 Claude 比较聪明的是再最后提到了建议我们查看 Apple 的官方网址。
然后,我们去看一下现在 AI 搜索引擎的回答。从下面 perplexity的回答中,我们可以看到主要分为几个部分,可以提供检索的网站来源,自己的答案,并且在答案中还会显示出引用了哪个网站的内容。
这样就可以极大的缓解幻觉问题的产生,并且我们可以很方便的去点击参考的网站去进一步确认这个数据是否准确。
下面是秘塔搜索的结果,同样也可以展示出比大模型更好的结果,而且还可以生成思维导图、PPT,功能上更强也更好用一些。
不仅如此,还可以列举出更多复杂的信息,比如发生的事件、相关人物等,而且还可以根据这个问题进行追问。
天工 AI 搜索和秘塔搜索的结果比较类似,都可以生成思维导图和 PPT、并且天工 AI 并只是一个简单的搜索工具,还提供了比如 AI 写作、AIPPT、音乐生成等其他工具可以使用。如果,你需要使用多种工具的网站,这个天工 AI 就会更适合你。
因此,AI 搜索引擎本质上还是信息检索+LLM 生成回答,其主要的核心技术还是 RAG 和检索,我曾经写过一些和 RAG 相关的文章欢迎阅读:
https://zhuanlan.zhihu.com/p/680232507
https://zhuanlan.zhihu.com/p/661668629
当然你也可以自己学习相关应用开发技术,去实现一个类似的功能:
https://zhuanlan.zhihu.com/p/663369695
https://zhuanlan.zhihu.com/p/664199788
https://zhuanlan.zhihu.com/p/686658162
https://zhuanlan.zhihu.com/p/687407582
好了,我写完了,欢迎点赞,留下你的名字,祝,心想事成?。
❤️同频小伙伴欢迎链接
❤️往期经典好文❤️
手把手教你1元钱购买扣子Coze收费前最后的套餐,可以再用一年,赶紧冲!
----------------------------------------------
----------------------------------------------
AI 爱好者必看,AI发展的四个范式究竟指的是什么。弄懂了,就超越 99% 的人。
----------------------------------------------
从第一性原理谈起,我们在使用和学习 AI 工具的时候,最应该看重那几点。
----------------------------------------------
----------------------------------------------
AI工具:体验了一下天工AI,我想这才是未来该有的样子。99%的需求都可以一键满足。
----------------------------------------------
❤️AI解决方案咨询案例❤️
现在AI这么火,我有必要搞个副业吗?|咨询师日记 Vol.12
----------------------------------------------
17999的张雪峰咨询费出不起,99的AI志愿填报可行吗?|咨询师日记Vol.11
----------------------------------------------
200元可以定制一个本地RAG问答系统吗?|咨询师日记 Vol.10
----------------------------------------------
让你买一块4090显卡的底层逻辑是什么?|咨询师日记 Vol.9
----------------------------------------------
完全不懂代码,要去往全栈开发深耕吗?|咨询师日记 Vol.8
----------------------------------------------
----------------------------------------------
----------------------------------------------
----------------------------------------------
----------------------------------------------
----------------------------------------------
大四即将毕业,该考研还是工作还是搞搞副业?| 咨询师日记 Vol.2
----------------------------------------------
程序员只想搞技术,怎么选择副业方向?| 咨询师日记 Vol.1
❤️福利❤️
目前我致力于AI工具拆解、AI解决方案的咨询、落地以及AIGC培训,如果有相关问题,可以加我备注「公众号」,进行免费咨询,并领取我整理的AI学习资料和常用AI工具集。
部分资料截图:
「雨飞陪你玩赚AI」,知识星球,欢迎来围观,交个朋友。
你的每一个『点赞』,都是鼓励我进步的勇气,点个『在看』,加油吧,一起成长!
声明:文中含有雨飞的广告