当你满怀期待地把大模型接入工作流，却发现它时而“装傻”、时而“失忆”、时而“一本正经胡说八道”……别急着怀疑人生。这些问题不是你的错，而是大模型本身的“出厂设置”决定的。

这份指南整理了日常使用大模型最常见的 8 个问题，附赠直接可用的解决方案。

一、 问题 1：AI 开始“胡言乱语”（幻觉 / 掺水）

【症状】

编造不存在的 API 参数

虚构新闻事件、法律法规条文

生成看起来合理但实际错误的代码

【根源】

大模型本质是“猜词大师”，它不知道“我不知道”，只知道“下一个词最可能是什么”。

【解决方案】

① 降低“创造力”

在 API 调用中调低 temperature参数（建议 0.1–0.3），模型会更保守、更严谨。

② 明确允许说“不知道”

在提示词开头加一句：

如果你不确定答案，请直接说“无法确认”，不要编造。

③ 要求引用来源

请给出你的回答依据，引用具体文档或数据来源。

④ 关键信息二次验证

涉及命令、端口号、代码路径等，务必人工复核或在沙盒环境测试。

二、 问题 2：AI 记不住刚才说过的话（上下文丢失）

【症状】

聊到一半，它忘了你几分钟前设定的角色

长文档分析时，只记得开头结尾

【根源】

每个模型有固定的上下文窗口（Context Window），超出后“早期记忆”会被丢弃。

【解决方案】

① 精简对话历史

删除无关的来回对话

每次提问带上核心背景摘要

② 使用“总结前置”技巧

基于以上讨论，当前进展是：[你的总结]。接下来请继续……

③ 升级模型

GPT-4 Turbo：128K 上下文

Claude 3 Opus：200K 上下文

Gemini 1.5 Pro：1M 上下文（可处理整本书）

④ 分段处理长文档

将 10 万字报告拆成 5 段，逐段分析后汇总。

三、 问题 3：回答太啰嗦 / 抓不住重点

【症状】

问一个问题，得到一篇论文

想要结论，它先给你列 10 条背景

【解决方案】

① 明确输出格式

请用 3 句话以内回答。

请先给出结论，再简要说明理由。

请用列表形式呈现。

② 设定角色约束

你是一名资深运维工程师，请用最简洁的专业语言回答。

③ 使用“TL;DR”指令

在长回答后追加：

请用一句话总结以上内容。

四、 问题 4：输出格式混乱 / 不听话

【症状】

要求 JSON，它给你 Markdown

要求列表，它给你散文

【解决方案】

① 提供精确模板

请按以下 JSON 格式输出：

{

  "name": "",

  "price": 0,

  "stock": 0

}

② 使用系统提示固化格式

在 API 调用时，将格式要求写入 system_message：

你是一个只输出 JSON 的 API。用户提问后，请仅返回合法 JSON，不要附加任何说明文字。

③ 后处理修正

用正则表达式或二次调用提取结构化内容。

五、 问题 5：API 调用突然失败 / 报错

【症状】

401 Unauthorized：Token 失效

429 Too Many Requests：频率超限

500 Internal Server Error：服务端异常

【解决方案】

① 建立 Token 轮换机制

准备 2–3 个备用 Key

主 Key 失效自动切换

② 实现指数退避重试

import time

import random

def call_with_retry(func, max_retries=5):

    for i in range(max_retries):

        try:

            return func()

        except Exception as e:

            wait = (2 ** i) + random.random() * 0.5

            time.sleep(wait)

    raise Exception("Max retries exceeded")

③ 监控配额使用

设置 80%/90%/100% 三级告警阈值。

④ 区分错误类型

客户端错误（4xx）：检查参数和权限

服务端错误（5xx）：等待后重试

六、 问题 6：模型响应太慢

【症状】

生成一段代码要等 10 秒以上

长文本输出像“打字机”逐字显示

【解决方案】

① 降低 max_tokens

不需要长回答时，限制输出长度。

② 使用流式输出（Streaming）

开启 stream=True，逐片段返回，用户感知更快。

③ 选择更快的模型

GPT-4o mini 比 GPT-4 快 2–3 倍

Claude Haiku 比 Opus 快 5 倍

④ 避开高峰期

美东时间白天（国内深夜）API 响应通常最快。

七、 问题 7：模型带有偏见 / 价值观偏移

【症状】

对某些话题回避或过度敏感

输出隐含性别、种族等刻板印象

【解决方案】

① 明确中立要求

请从多角度客观分析，避免价值判断。

② 追问反面观点

请列举支持 A 方案和反对 A 方案的主要论点。

③ 自行过滤后处理

对敏感场景的输出增加人工审核环节。

八、 问题 8：成本失控 / Token 消耗过快

【症状】

月底账单远超预期

一次对话消耗了数万 Token

【解决方案】

① 设置硬性上限

在 API 调用平台设置月度预算上限。

② 压缩输入

去除冗余空格、换行

用缩写替代长短语

只传必要上下文

③ 选择合适模型

简单任务用 mini/haiku 版本，复杂任务再用旗舰版。

④ 监控每条请求

记录每次调用的 Token 消耗，分析异常峰值。

附录：快速自查表

问题

最简解法

胡言乱语

降低 temperature + 要求注明不确定

记不住

精简历史 + 总结前置

太啰嗦

明确输出格式

格式乱

给模板 + system message 约束

API 报错

检查 Token + 重试机制

响应慢

流式输出 + 选轻量模型

有偏见

要求多角度分析

成本高

设预算 + 压缩输入

结语：与 AI 相处的正确姿势

大模型不是全能的，但它是一个强大的“实习生”——需要清晰的指令、明确的约束、适当的监督。

当你遇到问题时，先问自己三个问题：

我的指令够清晰吗？（提示词工程）

我给的信息够完整吗？（上下文管理）

我的期望合理吗？（模型能力边界）

把这 8 个问题的解决方案收藏起来，下次 AI“闹脾气”时，你就能从容应对。

记住：不是 AI 变笨了，而是你还没学会怎么用好它。