永久记忆能力

拥有永久记忆能力的个人专家AI

大型语言模型往往受到上下文长度的限制，一旦超过上下文长度，它们将丢失之前的对话记忆。这一直是各种重要应用（如个人助理、聊天机器人和虚拟伴侣）的一个显著缺陷。

一种潜在的解决方案是不断加强上下文长度，以适应更长的内容理解和记忆。从Claude 2.1 200w的发布开始，OpenAI随后提出了永久记忆，允许大型模型记住每个人的对话历史并形成记忆。然而，实际测试发现，OpenAI所谓的永久记忆实际上只是基于问题和答案的历史形成用户自己的对话知识库。在新对话开始时，它从知识库中搜索和检索以前的聊天内容以唤醒所谓的记忆。这种方法不包括模型在对话知识库中的分析和思考过程。

事实上，在模拟人类对话时，大型模型关于与某人的对话的记忆并不仅限于对方提出了什么问题以及大型模型做出了什么回答。人类还会形成对话过程中的思考过程的记忆。简单来说，即使我没有说出来，当我听到你的问题时，我也会想到很多事情，这也是人类的记忆。这种方法效率较低，需要更多的存储空间。

因此，在建立永久记忆以帮助我们的专家机器人处理每个对话对象时，BitMind 通过引入一种称为“BitMemo”的方法来克服这一问题。BitMemo 使用多层知识图谱来帮助任何机器人与任何对话对象建立记忆图。BitMemo 的优点包括：

• 利用知识图谱的网络结构，每次对话可以找到更接近一个或多个节点的节点内容和节点之间的关系。然后将其作为上下文的重要内容提供给机器人，帮助机器人在对话过程中始终与先前的聊天内容相连。

• 除了帮助聊天外，BitMemo 还可以同时将与之密切相关的其他答案放入记忆图中。这意味着不仅记录了说了什么，还记录了在回答之前的思考过程。这是更完整地记录机器人记忆的唯一方式。

• BitMemo采用多层级知识图谱结构，相比较与OpenAI的知识向量空间记忆方法，节省了整体存储空间。因为即使是人类也不需要记住每次对话的所有细节，只需要记住对话过程中的关键点和关键点之间的联系。

• 所谓的永久记忆是从对话参与者的角度来看的。也就是说，任何进行对话的人都会感觉到BitMemo记住了对话的内容。然而，从机器人的角度来看，一个多层级记忆图（我们称之为机器人的记忆宫殿）可以实现每个机器人都能记住与每个人的对话的关键点和关系。通过这种方式，机器人拥有了自己最完整的记忆。