AI 社交和AI情绪价值的思考 -延申思考2 -全局记忆
BTW 想找创业合伙人/技术/产品(情绪价值赛道)可留言
全局记忆
ChatGPT
全局记忆功能是让ChatGPT从工具变成数字分身的关键。
当前的ChatGPT功能会持续了解你的一生,会聆听你每天的需求,观察你每天在做什么,日常行为,然后逐渐了解你,成为你的数字分身,发挥最大潜力的智能伴侣。
Microsoft Copilot
2025年3月31日
穆斯塔法:
微软推出AI记忆基础架构,copilot会实现持续记忆,不需要每次对话都重新开始,这些理解来自于你选择分享的内容,系统会进行深刻认知。
目前AI智能体的核心缺陷,在于缺乏记忆,很多团队在研发和优化大模型的记忆。
Anthropic
记忆功能让Claude不仅能记住单个项目中的信息,还能跨项目记忆的核心能力。
共识:押注全局记忆 - 难点
全局记忆的难点
大模型底层架构,Transformer架构,底层逻辑是非递归性的,只会基于当前输入的上下文窗口,来计算关联性,而不是像循环神经网络那样,通过递归方式把信息传递下去,也就是,每次聊天结束,关掉窗口,AI就会完全忘掉和你说话的历史内容。
问题在于,比如在写论文、改代码这种需要多轮协作的复杂场景中,每次新建对话大模型都会强制重置上下文。所以用户每次必须发一些背景信息。
就算你在一个对话窗口不放,如果token超出AI单次记忆的上限,上下文token的容量,就会触发上下文注意力稀释效应,导致大模型忘记你之前提到的内容。
所以目前的AI只配叫工具的原因之一。
人类大脑的海马体功能
海马体的功能就是把短期记忆转换为长期记忆,并且通过这些信息来支持我们的实时决策,单侧的海马体只有3.5克,就能高效管理一个人80年的人生记忆。
那AI能不能像人一样,通过记忆的转化和提取,提高对话的连贯性和任务的执行效率。
AI如果能实现很好的记忆,就能实现真正的数字分身,如何实现数字海马体?
Kimi记忆解决方案
提高上下文容量,2023年 KIMI
4-32k 到20万字 100万字
动态分组重组技术,把长文本分解为块。
没有解决根本问题,关闭对话框 还是会失忆了
OpenAI解决方案
当前记忆方案:
- 当前用户主动说:“记住这个”
- 或者重复提及某个信息五次以上,
ChatGPT把这些信息存入记忆库,但是这个系统能够记住你喜欢科幻小说,却没办法关联到几个月前讨论三体的书评,因为这些文字记忆只能被存储为静态标签,且记忆上限只有200条,超出后新记忆会把旧记忆数据覆盖掉。
听起来如此简陋的功能,为什么同行没有第一时间跟进呢?
技术难点在哪里?
传统大模型在回答问题时,会把用户的数据给融入到训练参数,如果要长期存储,很容易把低质量对话融入模型的数据,导致记忆污染,
OpenAI引入外部记忆数据库,在不污染训练数据的同时,能够实现记忆功能。
还能通过深度学习,构建个性化知识图谱,能够识别高频和低频信息,调整存储优先级,甚至根据记忆来主动预判你的需求。