发生了什么
如今,大模型越来越擅长回答问题了,但当 AI 不再只停留在聊天窗口,而是走向智能眼镜、可穿戴设备乃至家庭机器人时,问题会随之改变。用户未必有时间把需求完整说出来,也未必希望助手随时插话。更理想的助手,应该能在现场真正理解人,在用户需要的时候出现,在不合适的时候保持安静。 近日,清华大学人工智能学院 MEOW Lab 团队携手清华大学人机交互与普适计算实验室、字节跳动 PICO、威斯康辛大学麦迪逊分校等多家国内外研究机构,发布了 EgoIntrospect 与 IPIBench 两项最新研究成果。前者聚焦于 AI 如何理解用户的情绪、意图和记忆需求;后者关注 AI 在连续视频流中,如何判断何时提醒、何时沉默以及如何管理多轮任务。这两项研究都说明,下一代 AI 助手不应该只是更强的答题工具,还要学会读懂人,并把握时机,适时地与用户互动。 论文标题:EgoIntrospect: An Egocentric Dataset and Benchmark for User-Centric Internal State Reasoning 论文地址:https://arxiv.org/abs/2605.17262 论文标题: IPIBench: Evaluating Interactive Proactive Intelligence of MLLMs under Continuous Streams 论文地址: https://arxiv.org/abs/2605.27074 背景:AI 从问答系统到协作助手 今年 5 月,Thinking Machine Lab 在文章《Interaction Models: A Scalable Approach to Human-AI Collaboration》中讨论了类似的交互转向。文章指出,目前许多 AI 系统仍以用户输入、模型输出的回合制问答为基础。但真实协作并不是这样运作的。人与人一起做事时,会停顿、打断、修正,也会根据对方状态调整介入的时机。因此,当 AI 从问答走向实时协作,模型还缺少哪些能力?清华团队的这两项研究,正是在这一问题背景下,分别从用户理解和主动交互两个侧面展开。 EgoIntrospect: 让 AI 真正理解用户,而不只是看懂画面 过去,多模态大模型已经能够识别图像和视频中的物体、动作和场景。但如果 AI 要成为智能眼镜里的随身助手,理解外部世界只是起点。就像看到一只狗,用户可能感到开心,也可能感到紧张;同样路过一张地图,用户也许只是随意一瞥,或许却希望 AI 能帮自己记住它。 EgoIntrospect 的核心,是让模型学习从第一视角数据中推断用户的内部状态。研究团队共采集了 60 名参与者、超过 180 小时的日常记录,数据来自智能眼镜、智能手表、腕带、智能戒指等设备,包含第一视角视频、音频、眼动
如今,大模型越来越擅长回答问题了,但当 AI 不再只停留在聊天窗口,而是走向智能眼镜、可穿戴设备乃至家庭机器人时,问题会随之改变。用户未必有时间把需求完整说出来,也未必希望助手随时插话。更理想的助手,应该能在现场真正理解人,在用户需要的时候出现,在不合适的时候保持安静。 近日,清华大学人工智能学院 MEOW Lab 团队携手清华大学人机交互与普适计算实验室、字节跳动 PICO、威斯康辛大学麦迪逊分校等多家国内外研究机构,发布了 EgoIntrospect 与 IPIBench 两项最新研究成果。前者聚焦于 AI 如何理解用户的情绪、意图和记忆需求;后者关注 AI 在连续视频流中,如何判断何时提醒、何时沉默以及如何管理多轮任务。这两项研究都说明,下一代 AI 助手不应该只是更强的答题工具,还要学会读懂人,并把握时机,适时地与用户互动。 论文标题:EgoIntrospect: An Egocentric Dataset and Benchmark for User-Centric Internal State Reasoning 论文地址:https://arxiv.org/abs/2605.17262 论文标题: IPIBench: Evaluating Interactive Proactive Intelligence of MLLMs under Continuous Streams 论文地址: https://arxiv.org/abs/2605.27074 背景:AI 从问答系统到协作助手 今年 5 月,Thinking Machine Lab 在文章《Interaction Models: A Scalable Approach to Human-AI Collaboration》中讨论了类似的交互转向。文章指出,目前许多 AI 系统仍以用户输入、模型输出的回合制问答为基础。但真实协作并不是这样运作的。人与人一起做事时,会停顿、打断、修正,也会根据对方状态调整介入的时机。因此,当 AI 从问答走向实时协作,模型还缺少哪些能力?清华团队的这两项研究,正是在这一问题背景下,分别从用户理解和主动交互两个侧面展开。 EgoIntrospect: 让 AI 真正理解用户,而不只是看懂画面 过去,多模态大模型已经能够识别图像和视频中的物体、动作和场景。但如果 AI 要成为智能眼镜里的随身助手,理解外部世界只是起点。就像看到一只狗,用户可能感到开心,也可能感到紧张;同样路过一张地图,用户也许只是随意一瞥,或许却希望 AI 能帮自己记住它。 EgoIntrospect 的核心,是让模型学习从第一视角数据中推断用户的内部状态。研究团队共采集了 60 名参与者、超过 180 小时的日常记录,数据来自智能眼镜、智能手表、腕带、智能戒指等设备,包含第一视角视频、音频、眼动
为什么重要
需要你自己点开原文确认一次,这里给的是摘要与判断。
需要你自己点开原文确认一次,这里给的是摘要与判断。
跟你有什么关系
能转:做内容的话,这条多半能直接变成一个选题或一段工作流。
能转:做内容的话,这条多半能直接变成一个选题或一段工作流。
以上判断为规则生成的初稿,发布前请润色。
判定理由
评分 0 / 100