本文介绍了一种名为RECURRING GPT的语言模型，它基于一个大型语言模型（LLM）如ChatGPT，并使用自然语言模拟LSTM中的长短期记忆机制。通过在每个时间步骤中生成一段文本并更新其存储在硬盘和提示符上的语言长期短期记忆，该循环机制使RECURRING GPT能够生成任意长度的文本而不忘记之前的内容。由于人类用户可以轻松地观察和编辑自然语言记忆，因此RECURRING GPT是可解释的，并且允许交互式生成长文本。此外，作者还展示了RECURRING GPT作为“人工智能内容”的可能性，这直接与消费者互动。他们进一步演示了使用RECURRING GPT创建个性化交互性小说的可能性，这些小说直接与读者而不是作家进行互动。总的来说，RECURRING GPT展示了借用认知科学和深度学习中流行的设计理念以促进语言模型的发展的潜力。
【方法描述】
本文提出了一种名为RECURRINGGPT的方法，它是自然语言处理领域中一种基于LSTM模型的文本生成技术。该方法通过使用自然语言来模拟LSTM中的循环计算图，并将可训练参数替换为预训练的语言模型（如ChatGPT）。RECURRINGGPT包括三个主要组件：输入/输出、长短期记忆和短时记忆。在每个时间步长，RECURRINGGPT会接收上一个时间步长的内容和计划作为输入，并生成新的内容、计划和更新后的短时记忆。通过这种方式，RECURRINGGPT可以实现任意长度的文本生成，并且具有较高的可解释性和交互性。
【方法改进】
相比于传统的RNN模型，RECURRINGGPT引入了更复杂的语言生成机制，能够更好地模拟人类写作过程中的思考和决策过程。同时，它还利用了预训练的语言模型的强大能力，使得生成的文本质量更高、更具连贯性。此外，RECURRINGGPT还可以根据用户的需求进行定制化，例如修改提示语以改变输出文本的风格或进度等。
【解决的问题】
RECURRINGGPT解决了传统文本生成技术的一些问题，如缺乏可解释性和交互性、难以处理长文本以及难以控制生成文本的质量等问题。通过引入自然语言生成机制和预训练的语言模型，RECURRINGGPT能够在保持高质量的同时提高用户的参与度和可控性。
【论文实验】
本文主要介绍了使用RECURRENTGPT生成长文本的三个不同场景下的实验结果，并与一些合理的基线进行了比较和分析。
首先，在自主生成长文本的场景下，本文测试了RECURRENTGPT在不同类型的长篇小说中的效果。作者采用了随机分配的方式将20本小说分为科幻、浪漫、奇幻、恐怖、悬疑和惊悚等不同类型，并对每个类型的小说进行了人类评价。实验结果显示，RECURRENTGPT相对于滚动聊天GPT和基于LSTM的基线模型都更受人类读者的喜爱，尤其是在生成较长的小说时表现更为出色。这进一步证实了递归计算对于长文本生成的重要性。
其次，在与人类作家合作生成长文本的场景下，本文测试了RECURRENTGPT作为交互式写作助手的效果。在这种情况下，人类作家会首先选择他们想要写的话题并描述书籍的背景和大纲。然后，RECURRENTGPT会自动生成第一段落，并为作家提供几个可能的选择来继续故事。如果生成的计划不合适，作家可以选择自己编写下一小段的内容。实验结果表明，RECURRENTGPT可以显著提高人类作家的生产力，减少输入长文本的时间以及设计不重要情节的时间。此外，用户认为RECURRENTGPT比传统的AI写作助手更具可解释性和可控性，因为它具有透明且可编辑的语言组件。最后，与之前的分层生成长文本的方法（如DOC和RE3）相比，人类用户更喜欢RECURRENTGPT，因为迭代和交互式的写作方式更加灵活和可控。
最后，在个性化交互小说的场景下，本文测试了RECURRENTGPT作为交互式小说的可能性。这种用法类似于RECURRENTGPT作为AI写作助手，但主要区别在于从第三人称视角转变为第一人称视角，以增强玩家的沉浸感，并使RECURRENTGPT生成涉及主角重要选择的计划，而不是一般性的下一个段落计划。实验结果表明，RECURRENTGPT可以与人类玩家互动，并直接为人类消费者提供高质量的内容。然而，作者也发现，RECURRENTGPT有时会产生不太一致的内容和质量较低的选项，这些选项并不非常相关或合理。作者认为可以通过使用更强大的语言模型背板、监督微调语言模型背板或设计更好的提示等方式来改进这种情况。这些工作留待未来的研究。
综上所述，本文通过三个不同的实验场景，验证了RECURRENTGPT在生成长文本方面的有效性，并与其他基线方法进行了比较和分析。
【文章优点】
本文提出了一种名为RECURRENTGPT的语言模型框架，能够生成任意长度的文本并支持与人类作者交互。
该框架使用了RNN机制来模拟长期记忆，并通过计划（plan）和指令（instruction）的提示来控制生成的内容。
该框架在定量和定性的评估中表现良好，但仅限于使用强大的预训练语言模型作为后端。
【文章不足】
该框架仅适用于强大的预训练语言模型，限制了其应用范围。
论文只评估了该框架在小规模数据集上的性能，需要进一步研究其在更大规模数据集上的表现。
【方法创新点】
该框架引入了RNN机制来模拟长期记忆，使得生成的文本更加连贯和自然。
该框架还设计了一系列提示来控制生成的内容，提高了其可定制性和灵活性。
【未来展望】
该框架可以扩展到更多的应用场景，如自动写作、故事创作等。
可以探索更复杂的提示设计和RNN机制来提高生成文本的质量和多样性。