无限上下文,多级内存管理!突破ChatGPT等大语言模型上下文限制

2023-11-02 13:05:03 字數 1968 閱讀 5427

在这段修改中,我对文章进行了一些语法和拼写上的修正,并添加了一些描述性的词汇以增加清晰度和吸引力。我还分解了一些冗长的句子,并提供了一些改进建议,以进一步提高可读性。研究人员在多个测试环境中测试了memgpt,并发现它能够处理超出大语言模型上下文长度限制的文本内容。此外,memgpt还提供了丰富的功能调用,允许大语言模型主动管理自己的内存,而无需人工干预。

这些功能调用可以在主上下文和外部上下文之间导入和导出信息,并且大语言模型可以根据当前任务目标自主决定何时在主上下文和外部上下文之间移动上下文信息,以更好地利用有限的主上下文资源。当取回的文档数量增加时,固定上下文模型的性能受限于取回器的质量,而memgpt可以通过调用分页机制取回更多文档,从而提高问答准确率。

在新提出的多步嵌套关键词提取任务中,memgpt通过多次调用外部上下文成功完成了需要跨文档进行多跳查询才能得出解的任务,而gpt-3.5和gpt-4在嵌套层数增加时准确率急剧下降至0。改进:memgpt中的主上下文类似于操作系统中的“主内存”,是大型语言模型可以直接访问的固定长度上下文窗口。研究人员将主上下文分为三个部分:1. 系统指令:这一部分保存了memgpt的基本控制逻辑,例如函数调用模式等。长度固定且只读。

2. 对话上下文:这是一个先入先出的队列,保存了最近的用户交互历史记录。它只读且会在长度超限时裁剪前段对话。3. 工作上下文:这是一个读写临时存储,大型语言模型可以通过功能调用自主向其中写入信息。需要注意的是,这三个部分的总长度不能超过底层大型语言模型的最大上下文长度。外部上下文保存了主上下文之外的额外信息,相当于操作系统中的“磁盘存储”。

外部上下文需要明确的函数调用才能将信息导入主上下文供模型访问,包括以下两种类型:1. 回溯存储:保存完整的历史事件信息,相当于对话上下文的无压缩版本。回溯存储允许检索特定时间段的历史交互。2. 归档存储:通用的读写数据库,可以作为主上下文的溢出空间保存额外信息。在对话应用中,归档存储可以保存有关用户或系统角色的事实、喜好等额外信息。在文档分析中,归档存储可以支持更大的文档集搜索。

创新点在于系统指令中详细描述了内存体系结构和功能调用方法,指导大型语言模型学习使用这些工具管理内存。大型语言模型可以根据反馈调整调用策略。同时,当主上下文空间不足时,系统会提醒大型语言模型及时保存重要信息,引导其管理内存。链式调用是在memgpt中,各种外部事件会触发大型语言模型进行推理的过程。这些事件包括用户消息、系统内存警告、用户交互事件等。功能调用可以请求获取控制权,从而实现链式调用。

例如,在检索结果分页浏览时,连续调用可以将不同页面的数据收集到主上下文中。而yield调用则会暂停大型语言模型,直到下一个外部事件触发才再启动推理。改进后的文本:这种以事件为基础的控制流能够协调内存管理、模型推理以及用户交互之间的无缝沟通。memgpt通过解析器验证由大型语言模型所生成的函数调用,检查参数是否正确等。随后,该调用的结果会反馈给模型,从而可以学习调整策略,减少错误。

此外,memgpt的系统指令可以实时更新,以便在不同任务上提供定制化的内存管理指导,实现持续优化。透过更多的场景细节和对话的描写,读者可以更好地产生代入感,且对文本的兴趣与阅读欲望也能更强烈地被激发起来。

毫无下限,毫无底线,毫无人性 以色列承认轰炸医院

标题 无底线,毫无人性 以色列轰炸医院事件的背后真相第一段 毫无底线,毫无下限,毫无人性。在以色列总理内塔尼亚胡的发表声明中,他毫不掩饰地谴责了袭击加沙医院的行径,称其为野蛮的恐怖主义行为,并强调这并非以色列国防军所为。然而,随后的事实揭露出这一切的虚伪和背叛,以色列军队确认了轰炸加沙医院的事实,造...

一女多男文大合集(下),无情女海王,把高冷男神 年下狼狗

目录 .绯闻俱乐部 作者 旎旎。.高卢情颂 作者 开封屠夫。.女留学生的堕落史 作者 金银花。.荡漾 作者 枝枝。.食髓知味 作者 明烟。.学妹嫂子 作者 蝎子尾巴。.魅魔养成计划 作者 黄脑风暴。.皇上不急太监急 作者 空蝉。.寄人篱下 作者 雾隐花泪。.逃荒路上 作者 拾香舞。.穿成青楼老鸨后 ...

巴以冲突无底线,黄金市场无上限

巨象金业。巴勒斯坦的孩子长不大,美国的以色列胃口不小 你长大了想做什么?我在巴勒斯坦长不大 你穿着草鞋能过冬吗?我们没想过活过冬天 被采访的那个巴勒斯坦孩子说完就走了。巴以冲突在短短的两周内,数千枚火箭弹在空中交织穿行,造成了六千多人的死亡,废墟之下埋葬着无数亲人 朋友 爱人和孩子的残骸 巴以冲突与...