VLM记忆机制最新综述,从When, Where, What, How四个维度看懂记忆-观热点
来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者联合发布最新视觉语言模型(VLM)记忆机制的系统性综述。基于全新的 4D 分类框架,系统梳理了 300 余篇相关工作和近 70 个评测基准,覆盖长视频理解与生成、多模态 RAG、具身导航与行动、个性化助手等八个热点应用场景。
【资料图】
- 论文:Memory in Vision-Language Models: Taxonomy, Mechanisms, and Applications
- 论文作者:SHAO-JUN XIA、YIZHUO HE、YUNER ZHANG、YIFAN JIANG、XIAOYANG CHEN、LIANGXI LIU、CHENWEN LUO、JINBAO WANG
- 供稿:YIFAN JIANG、YIZHUO HE、YUNER ZHANG、SHAO-JUN XIA
- 项目链接:https://github.com/Xzcv-hub/Awesome-Memory-in-VLM
- 论文:https://www.preprints.org/manuscript/202607.1539
一、为什么 VLM 需要记忆
近年来,VLM 在图像描述、视觉问答、视频理解、多模态对话和具身智能等任务上飞速发展,并逐渐扩展到更为复杂、大体量的长程任务和真实应用。这些任务要求模型在更长的时间跨度、更多轮的交互中持续积累并调用过往信息,单纯扩展上下文窗口往往难以满足这一需求。为此,研究者用不同的方法尝试为 VLM 引入记忆机制,例如外部记忆库、层级化记忆、长短期记忆等。
然而,已有的设计多从特定的任务场景以及架构出发,对于记忆的实现和优化也往往专注于与任务相关的维度,术语和设计各不相同,缺少一个统一的视角来理解和比较这些方法。另一方面,已有的记忆相关的综述大多聚焦于 LLM,对于 VLM 方面的描述只包含特定的任务形式,有一定的局限性。
在这篇综述中,作者提出了全新的 4D 分类框架,系统刻画 VLM 中的记忆机制。基于这一框架,作者梳理了 300 余篇相关工作,总结出八种典型的记忆形态,整理了近 70 个评测基准,分析了记忆在长视频理解、具身智能、个性化助手等八类应用场景中的作用,并讨论了当前面临的挑战与未来方向。
图 1|VLM 记忆相关研究的发展时间线。图中从 When(时间范围)、Where(存储位置)、What(记忆内容)和 How(记忆操作)四个维度展示代表性研究及其发展脉络,中间标注了同期主要基础模型的发展节点。
二、核心框架:4D 记忆分类
图 2|VLM 记忆的 4D 分类框架:When(时间范围)、Where(存储位置)、What(记忆内容)、How(记忆操作)。
作者提出对于记忆的视角应从单纯的信息储存单元扩展到整个生命周期:有关的信息先从多模态任务中被观测并写入记忆,随着时间被反复提炼和组织,并在处理相关任务时被检索和调用。基于这一视角,作者提出了 4D 分类框架,从 When(时间范围)、Where(储存位置)、What(记忆内容)和 How(记忆操作)四个维度,系统刻画 VLM 中的记忆机制。
1)When:记忆保留多久。这一维度关心记忆的存在时间。最短的瞬时记忆用于单次推理,情景记忆则适用于多轮对话和多轮交互,这两者的记忆通常仅在当前推理或任务交互期间保留。而最长的持久记忆会在会话结束后依旧保留下来,为后续的交互所用。
2)Where:记忆存在哪里。记忆的储存位置有模型内部和外部两类。内部记忆往往储存于模型的参数、隐藏状态和 KV 缓存中,这类记忆调用快并且与推理任务结合更密切,但不利于修改和查看。外部记忆储存于独立的数据库、知识图谱或经验库,便于更新和审查,但效果依赖于检索质量。
3)What:记忆存成什么。这一维度涉及记忆以什么形式把原始的相关信息储存起来,除了直接的原始信息片段,记忆还可以被整理成结构化的对话与轨迹记录、抽象的语义知识,或者被压缩成模型内部的潜在表示。
4)How:记忆如何操作。这一维度关心记忆在整个生命周期中经历的操作,主要包括四类:写入,决定哪些新信息以什么形式写入记忆。巩固,对已有的记忆进行整理和提炼。检索,找出与当前任务相关的记忆以辅助完成任务。更新与遗忘,在持续的交互中更新和清理信息,确保信息的时效性。
三、八种典型记忆形态
图 3|八种典型记忆形态及其在 4D 框架中的定位。
四个维度在概念上可以分开讨论,但在真实系统中往往相互绑定。选择了记忆保留多久,通常也就决定了它更适合存在哪里、以什么形式保存。作者据此总结出八种典型的记忆形态(图 3),每种形态都对应四个维度的一种典型组合。例如,长上下文记忆通过上下文窗口保留 token 或其压缩表示,通常属于瞬时、内部记忆;终身智能体记忆则需要在多次会话中持续积累经验,属于持久记忆,相应地,写入、巩固、检索、更新与遗忘四类操作都会在设计中被考虑。
需要注意的是,这些组合只是常见的设计倾向,并非固定规则。比如,瞬时的中间状态虽然无法在推理结束后保留,但其中的内容可以被额外组件整理后变成情景或持久记忆,并辅助后续的任务。作者希望,这些组合关系不仅可以帮助研究者理清现有工作在记忆实现上的偏好,也可以指出尚未被充分探索的设计空间。
四、从应用看记忆:八类典型场景
图 4|八类应用场景中的记忆需求偏好。
八种记忆形态回答的是「记忆可以怎么实现」,而在实际应用中,选择哪种形态、如何组合,很大程度上取决于任务本身。从应用的角度出发,综述进一步整理了近 70 个现有的 VLM 记忆基准,探讨了八类应用场景的记忆实现和需求偏好:
1)长视频理解与生成:受限于模型的上下文无法容纳海量的视频帧,记忆实现多以压缩视觉信息并有选择地保留任务相关视觉信息为主。
2)图像推理与描述:该任务中,模型在较长的推理中容易忘记重要信息,记忆实现侧重于保留关键视觉信息。
3)持续学习:这类任务的核心是模型在学习新知识和技能时保留以往的能力,记忆通常体现为对模型原有参数和表示空间的保护。
4)具身导航与动作:记忆实现多以记录行动轨迹数据、任务进度和环境空间结构为主。
5)多模态 RAG:此类任务主要考察外部知识库和文档图像的构建,以及根据任务检索相关信息的效率和准确性。
6)第一人称视觉:此类任务涉及长达数天甚至数周的长期信息,对记忆进行层级化的组织往往是重要的解决方案。
7)个性化助手:由于用户的专属要求和偏好需要跨会话保存,记忆实现多以可随时更新的外部记忆为主。
8)虚拟环境交互:此类任务考察智能体能否把过去的交互经验提炼成可复用的知识和技能,在遇到新任务时检索参考。
五、挑战与未来方向
在综述的最后,作者梳理了现在 VLM 的记忆机制仍面临的挑战和值得探索的未来方向。首先,上下文变长并不等于记忆有效,模型即便接收了更多信息,也可能会错过一个短暂但关键的事件。其次,信息的重要性往往取决于之后会被问什么,这种滞后性使得对相关记忆的压缩和保留很难取舍,现有方法也常常在保留高层语义信息的同时丢失了事件顺序和视觉细节。此外,检索到的记忆本身可能是无关、过时甚至错误的,而模型往往缺乏核实这些记忆的能力,即使依据的是错误信息,也能给出看似合理的回答,使得错误难以被察觉。最后,现有的基准大多只测试记忆的单一能力,而真实任务场景中的错误往往涉及多个环节,单项测试无法全面反映记忆系统的落地表现。
针对这些问题,作者提出了几个值得探索的方向:借鉴人类认知构建分层的记忆结构,让系统根据信息类型自适应地选择存储方式,让模型自己学会判断什么值得记住,并让每条记忆都能追溯到原始的视觉证据。同时,记忆系统的评测不应只看准确率,用户能否查看、修改和删除自己的记忆,也应成为设计之初就考虑的问题。
电脑
-
-
-
-
43场不败被终结!西班牙输掉30亿欧大战:3-0后连追2球 惜败英格兰-今日报43场不败被终结!西班牙输掉30亿欧大战:3-0后连追2球惜败英格兰,巴西,
-
硬件
- 蒙泰高新:公司生产经营一切正常-实时焦点
- 管住AI解决问题的能力
- 【热闻】还记得被“禁止整容”的小芈月吗?17岁近照曝光震惊全网:咋长成了这样!
- 波切蒂诺取消曼联赛后假期,欲提升全队强度!或请女教练负责体能
- 德拉富恩特:大都会是完美舞台;很多马竞球员有机会进国家队
- 我国10吨级电动商用飞机有人驾驶首飞成功|最新
- 焦点速递!000831,重大资产重组!
- 早生孩子和晚生孩子的区别有多大?网友:如果家里有钱,就早点生,没钱晚点
- 热文:迟早杀回欧洲,赖因德斯本赛季俱乐部+国家队19场13球5助攻
- 观速讯丨福龙马:公司及董事长长期热心公益事业,积极支持教育发展
- 11月13日儒意电影涨停:影视,短剧/互动影游,服务消费概念热股
- 国家金融监督管理总局金华监管分局关于薛乐中国银行金华市分行副行长任职资格的批复 热门
- 光通信板块承压 中际旭创(03308)跌超6% 机构指FCC政策+AI资本开支担忧引发调整
- 14 亿欧!皇马新赛季营收预期创历史新高,伯纳乌球场和青训是两大金矿
- VLM记忆机制最新综述,从When, Where, What, How四个维度看懂记忆-观热点
- 青岛西海岸新区大场镇“卡友驿站”开展“立冬暖情·双十一送关怀”走访活动_信息
- qq接收的文件在哪个文件夹?QQ文件保存路径是什么?
- qq接收的文件在哪个文件夹?QQ文件保存路径是什么?
- DNF魔界裂缝任务怎么做?魔界裂缝进入条件是什么?
- DNF魔界裂缝任务怎么做?魔界裂缝进入条件是什么?
- Excel怎么批量多关键词查找?Excel查找功能怎么设置?
- 怎样更新电脑监视器驱动?显卡驱动怎么更新?
- DNF金色小晶块怎么获取?金色小晶块有什么用处?
- DNF金色小晶块怎么获取?金色小晶块有什么用处?
- 怎么买手机便宜?买手机什么时候入手划算?
- 怎么买手机便宜?买手机什么时候入手划算?
- 英格兰还了西班牙一个3比2,图赫尔用“不退守”完成复仇 今热点
- “黄仁勋回归英伟达”仅存理论可能,美财长周末再度施压英伟达须外部引入CEO
- 胡塞武装称沙特联军24小时内75次袭击也门多地
- 国家统计局:前10月全国房地产开发投资同比下降21.6%
- 每日时讯!可孚医疗:截至 2026 年11月10日,公司股东总户数约1.5万户
- 实控人被留置!昔日大牛股,20cm一字跌停! 今日观点
- 每日头条!【调研快报】大立科技接待中信证券等18家机构调研
- 焦点!穆帅的眼光太准!皇马球迷正在认知到穆帅早已知道的一点:库库雷利亚名气不耀眼,防守很硬核,能给皇马左路带来底气!
- 半场:芬兰5-1圣马力诺,波赫扬帕洛两射一传,斯万贝克双响 焦点简讯
- 森保一:若J联赛邀约也会考虑,首选欧洲执教 重点聚焦
- 2025年医保目录国谈药品采购金额数量双增长|焦点讯息
- 即时:2026年度电影总票房破320亿
- 人物志:黑山主教练武齐尼奇,曾因试图打裁判被罚给训练场开大门|新动态
- 这才叫真正的逆袭!建筑小老板146万拍下破产队,竟夺下中超冠军
- 优必选斩获400台人形机器人订单 产业化落地加速
- 快讯:湖人消息:小里伤势无碍,将帅齐赞凯斯勒,战太阳出场更新
- 观点:曝小米与“AMG之父”创办的HWA秘密合作,希望打造“载入史册”新车
- 网络机顶盒怎么样?网络机顶盒优缺点是什么?
- 网络机顶盒怎么样?网络机顶盒优缺点是什么?
- win11如何强制删除软件?win11软件删不掉怎么办?
- win11如何强制删除软件?win11软件删不掉怎么办?
- 三星s5630c怎么样?三星s5630c测评和参数如何?
- 三星i9300和苹果4s哪个好?三星i9300和苹果4s有什么区别?
- 精选!踏空、重仓暴跌 基金经理该不该道歉?巴菲特给出答案!
- 帕利尼亚:我想为惨败道歉,这与葡萄牙队的实力不符-最新
- 连赢6次就能变自信?光遗传学点亮“脑回路”『心灵加油站』(304)-焦点信息
- 曲周县名扬箱包厂(个体工商户)成立 注册资本1万人民币
- 无线键盘无响应是怎么回事?无线键盘没反应怎么解决?
- 无线键盘无响应是怎么回事?无线键盘没反应怎么解决?
- 电源风扇声音大怎么办?电脑风扇噪音大怎么解决?
- 电源风扇声音大怎么办?电脑风扇噪音大怎么解决?
- 三星手机b5310u怎么样?三星b5310u参数配置有哪些?
- 三星手机b5310u怎么样?三星b5310u参数配置有哪些?
- 索尼爱立信k510c怎么样?索尼爱立信k510c参数如何?
- 索尼爱立信k510c怎么样?索尼爱立信k510c参数如何?
- netgear无线路由器如何设置?netgear路由器怎么设置密码?
- 佳能60d和600d的区别有哪些?佳能60d和600d哪个好?
- 索尼w395怎么样?索尼w395报价和参数如何?
- 索尼w395怎么样?索尼w395报价和参数如何?
- MOTO XT882是不是双网双待?MOTO XT882参数怎么样?
- MOTO XT882是不是双网双待?MOTO XT882参数怎么样?
- 红米Note5A怎么样?红米Note5A好用吗值得买吗?
- 红米Note5A怎么样?红米Note5A好用吗值得买吗?
- 动态焦点:如果你有退休金,还有三四十万存款,千万要记住这3件事,很重要
- 定南赣联范博健:希望两回合附加赛好运,希望留在中甲平台
- tplink路由器掉线怎么办?tplink路由器老是掉线怎么解决?
- tplink路由器掉线怎么办?tplink路由器老是掉线怎么解决?
- 诺基亚e63报价多少钱?诺基亚e63功能有哪些?
- 尼康p80怎么用?尼康p80功能和使用方法有哪些?
- win7系统开机密码如何设置?win7开机密码忘了怎么办?
- win7系统开机密码如何设置?win7开机密码忘了怎么办?
- 微信如何申请公众号?微信公众号申请需要什么条件?
- 微信如何申请公众号?微信公众号申请需要什么条件?
- 联想z460怎么样?联想z460配置参数是多少?
- 联想z460怎么样?联想z460配置参数是多少?
- 电脑主机机箱漏电怎么办?机箱漏电会不会电到人?
- 电脑主机机箱漏电怎么办?机箱漏电会不会电到人?
- 主客表现:挪威主场进球不断,威尔士客场连遭零封
- 又一里程碑!我国10吨级电动商用飞机有人驾驶首飞成功-每日热门
- 宣威市强标磁砖经营部(个体工商户)成立 注册资本9.6万人民币_每日热议
- 什么是pki?什么是pki及数字证书原理
- hibernate 教程怎么学?hibernate 教程视频推荐
- me域名注册流程是什么?
- me域名注册流程是什么?
- eclipse中文语言包怎么安装?
- eclipse中文语言包怎么安装?
- 每日快讯!论三大淫妇的饥渴程度:潘金莲初会西门庆,一把将西门庆搂抱放倒
- 微粒群算法是什么?微粒群算法和遗传算法区别
- 微粒群算法是什么?微粒群算法和遗传算法区别
- 单片机控制步进电机怎么实现?单片机控制步进电机代码
- 单片机控制步进电机怎么实现?单片机控制步进电机代码
- androidtoast怎么用?androidtoast自定义样式方法
- android游戏开发怎么学?android游戏开发引擎推荐
- jquery表单验证怎么写?
- jquery表单验证怎么写?
- 通讯录管理系统怎么开发?
- 通讯录管理系统怎么开发?
- oracle递归函数怎么写?oracle递归函数使用注意事项
- oracle递归函数怎么写?oracle递归函数使用注意事项
- chmod用法是什么?chmod用法常见错误有哪些?
- chmod用法是什么?chmod用法常见错误有哪些?
- 中国银行充值支付宝怎么弄?中行卡给支付宝充值失败咋解决?
- 中国移动亲情号码怎么设?移动亲情号资费和添加流程是什么?
- 制作宣传单用什么软件?宣传单标准尺寸和排版技巧有哪些?
- 制作宣传单用什么软件?宣传单标准尺寸和排版技巧有哪些?
- 肠子悔青!维尼修斯今夏2400万欧元续约6年,状态暴跌近6场0球0助
- 焦点信息:阿尔瓦雷斯:抛开结果不谈,我觉得我们有些地方做得不错
- 电脑开机黑屏但鼠标正常怎么办?电脑桌面黑屏是explorer崩溃吗?
电竞
数码
事件
- 安徽皖通高速公路(00995.HK)午后涨超5%-今日聚焦11-16
- 每日精选:盒马在天津成立涓选网络科技公司 注册资本1000万11-16
- A500红利低波ETF平安(561680)标的指数涨近1%,市场风格切换,资金流向高股息红利资产|焦点快播11-16
- 科大国创(300520.SZ):截至11月10日公司股东户数为49000余户11-16
- 当前焦点!东契奇赛季第7场40+拒绝太阳逆转 湖人豪取八连胜11-16
- 每体:切尔西有意孔德,球员离队首选英超球队11-16
- 远大医药:6款产品纳入2026年医保目录、商保创新药目录及行业配套清单11-15
- 华北制药(600812.SH):公司及下属子公司产品纳入国家医保目录-焦点短讯11-15
- 骗子亲口说:陌生来电,挂断和不接完全不是一回事11-15
- 阿斯利康13款创新药通过医保商保“双目录”调整|要闻速递11-15
- 在南京“遛”出秋日松弛感,金陵STYLE上演“城市森友会”_聚看点11-15
- 冯清现身机场送王宝强!素颜没化妆个子很高,把王宝强照顾的很好11-14
- 生意社WTI原油11月14日均差为-6.18美元/桶 由负向扩大转为缩小11-14
- 2-3惜败!女单爆大冷!就在刚刚,WTT常规赛:亚运冠军惨遭一轮游,桥本帆乃香下轮对手敲定,国乒仅剩20岁独苗扛大旗11-14
- 轰43+12+5创七纪录!申京赛季最佳一战比肩姚明 休媒:拯救了火箭11-14










