SheepNav

AI 资讯

每日聚合最新人工智能动态

来源:Anthropic清除筛选 ×

## 当数学家指挥AI,把论文变成可验证的代码 形式化证明——用计算机严格验证数学定理——长期以来被视为一项繁重且专业的工作。但一项新研究提出了一种全新视角:**将形式化过程设计成一场“策略游戏”**,由数学家扮演指挥官,AI系统充当执行者。 ### 核心玩法:把LaTeX变成Lean 游戏的目标很明确:将一篇LaTeX格式的数学论文,转化为**Lean 4**证明助手中的可编译代码。胜利条件包括:代码编译通过、不含任何“sorry”(未完成证明标记),并且机器检查确认目标定理仅依赖Lean的基础公理。此外,还有一个“可复用性”指标:生成的代码能否形成一个独立的通用数学层,被更广泛的数学库吸收。 这项研究的案例是**非线性Vlasov方程**的适定性问题——一个描述等离子体动力学的重要偏微分方程。研究者通过Dobrushin平均场方法,完成了存在性、唯一性、稳定性估计和平均场极限的完整形式化证明,以及一个短时叠加原理(弱解是拉格朗日的)。整个过程耗时约一个月,其中核心定理部分约一周完成。 ### 人机分工:数学家负责策略,AI负责执行 关键的分工在于:**人类数学家不直接编写证明代码**,而是负责高层决策——定义范围、指导分解、填补数学库的缺口。AI系统则负责具体的证明搜索和代码生成。这种模式让人联想到围棋中的“战略家”与“战术家”:人类把握全局方向,AI处理细节计算。 最终,整个开发包含299个声明,其中约六分之一(49个)形成了一个独立的通用层,仅依赖Mathlib(Lean的数学库)即可编译。这层通用数学主要涉及最优传输工具,特别是**Wasserstein-1度量**和**Kantorovich-Rubinstein对偶定理**的性质。 ### 意义与局限:一场实验,而非定论 研究者强调,这些量化数据仅作为一次游戏的观察结果,而非普遍规律。该游戏的规则不限定特定系统,因此方法论框架具有超越当前工具的持久性。 这项工作的价值不仅在于成功形式化了一个复杂的数学结果,更在于**提出了一种人机协作的新范式**。传统上,形式化证明需要数学家亲力亲为地编写大量细节代码,门槛极高。而通过引入AI作为“执行者”,数学家可以更专注于数学本质的推理和策略设计,有望大幅降低形式化证明的入门门槛。 当然,目前AI在数学推理中的能力仍有限,需要人类频繁干预。但随着大型语言模型和定理证明技术的进步,这种“战略游戏”模式可能成为未来数学研究的标准流程之一——让计算机不仅验证我们的结论,还参与证明的构建。

Anthropic2天前原文

当前AI智能体虽能独立完成简短任务,但现有终端基准测试多局限于几分钟内可解决、仅以最终结果评判的简单问题,忽略了中间进展和部分解决方案,导致奖励信号稀疏,无法全面反映智能体能力。为此,来自多所高校的研究团队提出了 **Long-Horizon-Terminal-Bench (LHTB)**——一个包含 **46 项长周期任务** 的终端基准测试,覆盖实验复现、软件工程、多模态分析、交互式游戏和科学计算等 **9 个类别**。 LHTB 的设计核心在于 **细粒度分级子任务**。每个任务基于 Terminal-Bench 风格的参考解决方案或模拟引擎,但进一步拆解为多个可独立评分的步骤。这种设计使得智能体在推进过程中能获得 **密集的中间奖励和部分分数**,评估不仅关注最终目标是否达成,更能衡量其在开放式工作流中的进展程度。 ### 任务规模与计算成本 LHTB 中的任务通常需要 **数百次迭代** 和 **几分钟到几小时** 的执行时间,重点考验智能体的长周期规划、长上下文管理以及迭代调试能力,而非一次性解题。研究团队对 **15 个前沿模型** 进行了评估,结果显示智能体平均每个任务消耗 **990 万 tokens**,约 **231 次迭代**,每次运行耗时 **85.3 分钟**。这一规模远超以往的终端基准测试,对算力和模型能力提出了极高要求。 ### 性能表现与改进空间 即便最强的测试模型,在部分奖励阈值为 0.95 时,pass@1 也仅为 **15.2%**;在完美奖励阈值 1.0 下,这一数字降至 **10.9%**。而全部模型的平均通过率则分别只有 **4.3%** 和 **1.7%**。这些数据表明,当前AI智能体在长周期复杂任务上仍有 **巨大的提升空间**。 ### 失败模式分析 研究还深入分析了模型的失败模式与错误类型,为后续算法优化提供了方向。团队已开源 LHTB 基准,旨在推动长周期终端任务领域的研究进展。 **小结**:LHTB 通过密集奖励机制和长周期任务设计,填补了现有基准测试的空白,揭示了智能体在持续推理与迭代执行上的短板。对于 AI 社区而言,这不仅是评估工具,更是催生更强规划与推理能力的催化剂。

Anthropic2天前原文

大型语言模型(LLM)智能体在多步规划任务中展现出潜力,但现有方法如 LATS(语言智能体树搜索)和 ReAct 在规划阶段严重依赖 LLM 推理,导致计算成本高昂且行为随机。最新研究 **GATS**(Graph-Augmented Tree Search)提出了一种全新框架,通过结合基于 UCB1 的系统性树搜索与分层世界模型,**在推理阶段完全消除对 LLM 的调用**,同时实现更优的规划性能。 ### 核心设计:三层世界模型 GATS 的核心创新在于其**三层世界模型**,每一层负责不同粒度的动作预测: - **L1(精确符号动作匹配)**:当智能体遇到已知动作时,直接使用符号匹配,零成本。 - **L2(执行日志统计学习)**:从历史执行日志中学习动作的统计规律,覆盖常见模式。 - **L3(LLM 预测)**:仅对未知或罕见动作调用 LLM 进行预测,作为兜底方案。 这种分层设计使得 GATS 在绝大多数情况下(尤其是已知或常见动作)无需 LLM 参与,仅在必要时才“求助”大模型,从而大幅降低推理开销。 ### 性能表现:100% 成功率 vs 零 LLM 调用 在包含分支路径和死胡同的**合成规划任务**中,GATS 实现了 **100% 成功率**,而 LATS 为 92%,ReAct 仅为 64%。在涵盖编码工作流、网页导航、长周期任务等 **12 个挑战性场景**的综合压力测试中,GATS 依然保持 **100% 成功率**,LATS 降至 88.9%,ReAct 更是跌至 23.9%。 更关键的是,GATS 在规划阶段**每任务零 LLM 调用**(LATS 每任务需 37 次调用),且输出**确定性计划**,多次运行方差为零。 ### 行业意义:从“LLM 即规划器”到“LLM 即知识源” 当前主流智能体框架(如 ReAct、LATS)将 LLM 同时作为推理引擎和知识源,导致每次决策都需调用模型,成本高、响应慢且结果不稳定。GATS 的思路是:**将 LLM 降级为世界模型中的一层,仅用于处理未知情况**,而将规划核心交给经典的树搜索算法(UCB1)与统计学习。 这种架构分离了“规划”与“知识”的职责:规划依赖确定性的搜索算法,知识则通过分层世界模型高效获取。对于企业级应用,这意味着智能体可以在保持高成功率的同时,将推理成本降低一个数量级,且行为可预测、可调试。 ### 局限与展望 论文目前主要在合成环境和有限场景中验证,真实世界的开放域任务(如复杂对话、动态环境)尚未充分测试。此外,世界模型的 L3 层在遇到全新动作时仍需 LLM 支持,但频率已大幅降低。未来工作可能包括:将分层模型扩展到多模态场景,或探索更高效的统计学习替代 L3 层。 GATS 的发布标志着智能体规划领域的一个重要转向:**系统性的搜索与结构化知识,或许比依赖 LLM 的“直觉”更可靠、更经济**。

Anthropic2天前原文

大型语言模型(LLM)的可靠性通常被归因于模型能力本身。但一项来自arXiv的新研究对此提出挑战:**可靠性在很大程度上取决于“推理时控制”**——即任务框架和上下文选择这一计算层。研究团队提出了**CogniConsole**架构,将这种控制外化为一个结构化接口,结合程序化协调与有限的基于提示的推理。 ## 核心发现:控制比能力更重要 研究通过**489次可控性导向探针实验**,在一个多步骤交互环境中比较了不同结构化程度下的LLM表现。结果清晰表明:**从非结构化到全结构化的推理控制,系统性地降低了输出方差和失败率**——即便模型架构完全固定。 许多常见的失败模式,如**上下文漂移**和**约束遵守不一致**,根源在于控制不足,而非模型能力不够。这为将推理时控制提升为“一等抽象”提供了实证基础。 ## CogniConsole如何工作? CogniConsole的核心思想是**外化推理时控制**——将其从模型内部隐式处理变为一个显式的、可编程的中间层。该接口包含: - **程序化协调**:用代码逻辑管理任务流程、状态转换和约束检查 - **有界提示推理**:在关键决策点调用LLM,但将其输出限制在预定义的选项或格式内 这种混合架构避免了完全依赖LLM自主推理带来的不可预测性,同时保留了其灵活理解能力。 ## 对AI行业的启示 这项研究为LLM系统设计提供了新思路:**与其无限追求更大模型,不如优化推理时的控制结构**。对于构建可靠AI应用(如客服、代码生成、多步任务代理)的开发者而言,CogniConsole的理念意味着: 1. 将控制逻辑从提示词中分离出来,形成独立层 2. 用确定性代码管理流程,用LLM处理局部理解 3. 通过结构化脚手架降低错误率,而非等待模型变强 研究也指出,当前LLM评估常忽略控制变量,导致对“模型能力”的高估。未来,推理时控制应成为与模型规模并列的设计维度。

Anthropic2天前原文

大语言模型(LLM)在医疗领域展现出巨大潜力,但如何将模型能力与真实临床需求对齐仍是核心挑战。近期一篇发表于 arXiv 的综述论文《Aligning Clinical Needs and AI Capabilities: A Survey on LLMs for Medical Reasoning》对此进行了系统梳理。该研究由 Qi Peng 等 13 位作者完成,已被 Machine Intelligence Research 接收。 ## 双重视角:临床需求与计算方法的桥梁 研究提出了一个独特的双重视角框架:在临床侧,基于 **Miller 金字塔** 构建了从知识回忆到动态病例管理的**五级能力体系**;在计算侧,则将 **演绎推理、归纳推理和溯因推理** 与常见的医疗目标和任务相关联。这种对齐方式使研究者能够更清晰地评估 LLM 在医疗场景下的真实表现。 ## 基准评测:18个模型的表现差异 论文引入了一个覆盖五级医学推理能力的基准数据集,并对 18 个最先进模型进行了评测。结果显示:**医学专科模型**在诊断类任务中表现优异,而**通用模型**则在决策支持和对话场景中领先。这一发现揭示了当前模型能力的“长板”与“短板”,也为后续模型选型和优化提供了参考。 ## 开放挑战与未来方向 尽管进展显著,综述也指出了若干关键挑战: - **数据局限性**:高质量标注数据稀缺,尤其对于复杂推理场景; - **幻觉问题**:模型可能生成看似合理但实际错误的医学信息; - **落地困难**:模型输出缺乏可解释性与可靠性,难以直接融入临床工作流。 针对这些挑战,作者提出了构建更安全、更可靠、可嵌入工作流的系统的方向。 ## 小结 这篇综述不仅梳理了当前医学 LLM 的技术进展,更重要的是提供了一套评估框架,帮助研究者与临床从业者共同理解 AI 在医学推理中的真实能力与局限。对于关注 AI 医疗落地的读者而言,这是一篇值得深入阅读的文献。

Anthropic5天前原文

## 当信任成为武器:人类与LLM混合交流中的对抗性社会认识论 随着大型语言模型(LLM)深度嵌入日常沟通,我们正进入一个前所未有的“密集交互式交流景观”。在这个景观中,公开断言不再来自单一声音,而是由一系列证据链、推理、机构认证和隐性信任共同支撑。然而,一篇来自多伦多大学罗特曼管理学院两位学者——Mihnea C. Moldoveanu 和 Joel A.C. Baum——的预印本论文(arXiv:2607.07760)警告:这种复杂性恰恰为信息操纵提供了新温床。 ### 超越“回音室”与“信息茧房” 论文提出的核心概念是“对抗性社会认识论”(Adversarial Social Epistemology, ASE),旨在解释一种现有理论未能充分覆盖的现象:在高度互动的交流环境中,参与者——无论是人类还是LLM——有动机和能力去**扭曲、粉饰、遗漏、编造或策略性模糊**信息,以获取私人、声誉、修辞或物质利益。 作者指出,传统的“信息茧房”或“回音室”概念过于静态,无法捕捉**动态的信任侵蚀机制**。真正需要解释的是:沟通者如何利用那些原本使“有依据的断言”值得信赖的承诺和权利,反过来破坏信任。例如,一个LLM可以引用一个看似权威的源,但该源本身可能是一个循环论证或虚构内容;人类发言者则可能利用机构认证的符号来掩盖不完整的信息。 ### 核心机制:审计链的破坏 论文详细描述了破坏信任的几种关键机制,其中核心是**削弱可审计性**。在传统的知识网络中,一个断言的可信度可以通过追溯其推理链来验证。但在LLM参与的场景中,推理链可能被有意缩短、隐藏或复杂化,使得审计变得不可能或成本极高。作者借用“推理主义语义学”(inferentialist semantics)——即通过断言在推理网络中的角色来理解其意义——来构建分析框架。 具体而言,LLM可能产生“看似合理但实际无法追溯”的陈述,而人类则可能依赖LLM的输出作为“黑箱证据”,从而在不需要亲自核实的情况下支持自己的论点。这种协同作用使得**虚假信息不仅难以检测,而且难以归责**。 ### 审计与补救:对抗性认识论的工具箱 论文并非仅仅停留在诊断层面。作者还勾勒了一套用于**审计和补救信任违约**的机制,重点在于恢复推理链的可追溯性。这包括设计新的“认识论网络”结构,要求所有断言必须附带其推理路径的元数据;以及建立自动化的“信任审计”系统,能够标记那些无法通过标准推理链验证的断言。 这一思路对AI系统设计有直接启示:未来的LLM或许需要在输出时**明确标注其信息来源的完整链条**,甚至包括内部推理的置信度分布。同时,平台和机构需要建立新的验证协议,防止人类与LLM之间形成“共谋式”的信息失真。 ### 行业意义与未来方向 这项研究将AI伦理讨论从“如何防止模型说谎”推向更复杂的“如何在混合交流系统中维护知识诚信”。它提醒我们:当AI不仅仅是工具,而是沟通的积极参与者时,传统的信任模型需要彻底重构。对于开发者而言,这意味着不仅要关注模型的准确性,还要关注其输出的**可审计性**和**推理透明度**。对于政策制定者,则需考虑如何将“审计链”要求纳入AI治理框架。 论文目前为50页的预印本,尚未经过同行评审,但其提出的ASE框架为理解人类与AI交织的信息生态提供了有力的分析工具。随着LLM在新闻、法律、医疗等领域的深入应用,这种对抗性认识论的视角将成为不可或缺的认知基础设施。

Anthropic5天前原文

当前基于检索增强生成(RAG)和智能体框架的企业AI系统,本质上仍是被动的:它们等待人类提问后才采取行动。最新的一篇论文《Context Graphs for Proactive Enterprise Agents》提出了一个截然不同的愿景——**主动式智能体**,能在员工提问之前就主动推送相关且可操作的信息。 该论文的核心创新是**上下文图谱(Context Graph)**,一种实时关系型数据结构,用于建模企业实体(如人员、项目、合同、工单)、它们之间的关系以及随时间的状态变化。基于这个动态图谱,论文进一步设计了三个关键组件: - **Delta检测引擎**:持续监控图谱中的状态变化(例如合同到期、系统告警、销售线索阶段变更); - **主动性评分器**:根据紧迫性、相关性和个人画像对候选洞察进行排序,计算统一的**主动性分数**; - **展示层**:由大语言模型驱动,将排名靠前的通知转化为带有依据解释的自然语言消息。 论文作者使用NetworkX和Anthropic Claude API构建了一个完整的端到端Python实现,并在三个典型企业场景(合同生命周期管理、工程事件响应、销售管道健康度)中进行评估。结果显示: - **Precision@5达到0.83**,即前5条主动推送中平均有4.15条是真正有用的; - **误报率仅0.11**,有效避免了信息轰炸; - **平均发现时间从47分钟(被动基线)降至30秒以内**,效率提升超过90倍。 ### 为什么这很重要? 当前企业AI的应用瓶颈已不再是模型能力,而是**人机协作的时机**。被动式RAG系统要求用户先意识到问题才能提问,而许多关键决策机会恰恰隐藏在用户尚未察觉的细微变化中。上下文图谱提供了一种结构化的方式来捕捉“什么变了、对谁重要、现在该不该提醒”,使得AI从“问答工具”进化为“主动参谋”。 ### 技术亮点 - **统一主动性分数**:论文形式化定义了Proactivity Score函数,融合了事件的新颖度、与用户角色的匹配度、业务影响权重等维度,使得排序可解释、可调优。 - **实时性与可扩展性**:基于图数据库的事件流处理,支持增量更新,避免了全量重算,适合大规模企业部署。 - **LLM增强的可解释性**:不是简单推送“合同X已到期”,而是生成类似“合同X将于3天后到期,涉及客户Y,金额Z万元,建议立即续签”的上下文丰富消息。 ### 挑战与展望 尽管结果令人振奋,但主动式AI在企业落地仍面临隐私、误报容忍度和用户信任等挑战。论文指出,未来工作包括多模态上下文图(整合邮件、会议、聊天记录)以及个性化主动性策略——根据用户的反馈隐式调整推送频率和内容阈值。 对于企业AI从业者而言,这篇论文提供了一个清晰的技术路线图:从被动到主动,关键在于**构建高质量的企业知识图谱**,并围绕它设计事件驱动、用户为中心的推送机制。这或许将是下一代企业级AI助手的核心架构。

Anthropic5天前原文

农业供应链的脆弱性源于生物物理与经济系统的紧密耦合。近日,一项发表于arXiv的研究提出了一种AI驱动工具,通过整合全球贸易分析模型(GTAP)与农业生产系统模拟器(APSIM),实现了对供应链冲击的跨学科影响分析。该工具允许政策制定者和市场参与者使用自然语言查询,直接获取复杂模型的计算结果,大幅降低了跨学科分析的门槛。 ## 模型融合:从经济到作物 GTAP是一个广泛使用的全球经济模型,能够模拟贸易政策、关税变化等经济冲击对各国产业的影响;而APSIM则专注于作物生长过程,模拟气候、土壤、管理措施对产量的影响。传统上,这两类模型各自独立运行,分析人员需要手动对接输出结果,过程繁琐且容易遗漏关键交互效应。 该研究的关键创新在于构建了一个AI中间层,将GTAP的经济预测与APSIM的生物物理模拟动态耦合。例如,一场干旱(通过APSIM模拟)可能导致作物减产,进而通过GTAP模型传导至全球粮食价格、贸易流向和农户收入。AI模型不仅负责数据接口的标准化,还能识别两个模型之间的非线性反馈,例如经济政策变化如何反过来影响农民种植决策,从而改变作物产量。 ## 自然语言交互:让模型“对话” 工具的另一大亮点是自然语言查询接口。用户无需掌握GTAP或APSIM的复杂参数设置,只需用中文或英文提问,例如:“如果美国中西部遭遇百年一遇的干旱,全球大豆价格将如何变化?对巴西农民收入的影响有多大?”AI系统会自动解析问题,调用相应模型组合,并返回结构化的分析结果。 这种交互方式大大扩展了工具的潜在用户群。政策分析师、农业企业管理者甚至非政府组织工作人员,都可以快速获取跨学科评估,而无需依赖专业建模团队。研究团队表示,该工具在测试中能够准确回答涉及气候、贸易、价格、产量等多维度的问题,响应时间在秒级。 ## 行业背景与意义 当前,气候变化、地缘政治冲突和疫情反复正不断冲击全球农业供应链。2022年俄乌冲突导致的粮食危机、2023年厄尔尼诺现象对东南亚棕榈油产量的影响,都暴露出传统单一学科模型在应对复杂冲击时的局限性。AI融合模型的出现,为预警和决策提供了更全面的视角。 从技术路线看,该工作属于“AI for Science”在农业经济交叉领域的典型应用。与直接使用深度学习端到端预测不同,本方法保留了经典物理/经济模型的可解释性,同时借助AI实现模型耦合与交互优化。研究团队来自爱荷华州立大学、密歇根州立大学、杜邦先锋等机构,体现了产学研合作的深度。 ## 局限与展望 目前,该工具仍处于原型阶段,主要依赖公开数据集和预设场景。实际部署中,模型参数的校准、计算资源的消耗以及自然语言理解的准确性,都是需要进一步解决的问题。此外,如何将模型预测转化为具体政策建议,仍需结合当地实际情况。 尽管如此,这一方向已经展示了巨大的潜力。未来,随着更多生物物理和经济模型的加入,以及更强大的AI推理能力,这类工具或将成为农业风险管理的基础设施,帮助全球粮食体系更好地应对不确定性。

Anthropic5天前原文

大型语言模型(LLM)正日益成为心理健康支持的重要提供者,但它们仍是注意力经济的产品,其运营和商业目标偏向于维持用户持续参与,而非有效心理支持所需的“摩擦”。开发者的安全响应多为被动式,仅处理最显性的急性伤害,而更隐蔽、长期的风险模式(如依赖、边界侵蚀、扭曲信念放大)则较少被关注。 一篇发表于arXiv的论文提出,要使LLM在结构上安全,需要从三个层面组织对齐,类比人类社会如何保障临床实践安全: 1. **明确的价值规范**:基于临床实践中成文的规范性承诺; 2. **嵌入价值的训练**:将这些价值内化到模型中; 3. **部署中的监督**:监测漂移和长期伤害,类似于临床督导。 由此,研究者提出一个名为 **“对齐可信度”** 的构建——一种结构化的论证,证明系统的价值观、训练机制和监督措施共同与安全且积极的结果一致。该研究借鉴生物学中“生物学可信度”的概念,将“对齐可信度”作为AI健康领域的监管框架:一种原则性的方式,用以论证系统是否真正对齐于积极的健康结果、在有能力造成伤害时是否无害,并最终使患者受益。 ### 对齐的三层结构 论文作者指出,当前AI安全方法存在根本性缺陷:它们主要针对短期、可见的滥用,而非长期、系统性的风险。例如,心理健康聊天机器人可能鼓励用户过度依赖,或无意中强化用户的负面思维模式。 为此,他们提出一个三层对齐框架: 1. **价值规范层**:明确系统应遵循的临床伦理准则,如患者自主、善意、非恶意、公正等。这些规范需来自权威临床指南和伦理委员会。 2. **训练嵌入层**:通过微调、RLHF等技术,使模型在训练阶段内化这些规范,而非仅靠提示词约束。 3. **部署监督层**:持续监控模型在实际使用中的行为,检测价值漂移或新型有害模式,并允许人工介入修正。 ### 与生物学可信度的类比 “对齐可信度”的概念借鉴了流行病学中的“生物学可信度”——即观察到的关联是否与现有生物学知识一致。类似地,在AI系统中,对齐可信度要求:系统的价值规范、训练数据和监督机制在逻辑上和结构上共同支持安全结果。如果任何一个层面存在缺陷,则系统的对齐可信度就应受到质疑。 ### 监管意义 该研究为AI医疗监管提供了新思路。目前,FDA等机构主要依靠临床验证和事后监测,但缺乏对AI系统内部对齐过程的评估。对齐可信度可作为补充标准,要求开发者提供证据,证明其系统从设计到部署的整个对齐过程是合理的。 论文作者强调,这一框架并非取代现有测试,而是提供一种结构化的论证方式,帮助监管者和临床医生判断是否应信任某个AI系统。尤其在心理健康领域,用户与AI的长期互动可能产生微妙影响,对齐可信度显得尤为重要。 ### 结语 随着AI在医疗领域的深入应用,确保其安全、有效且符合伦理已成为紧迫课题。对齐可信度提供了一个系统性的评估视角,将AI对齐从技术问题提升为监管和临床实践的核心议题。未来,这一概念或将成为AI医疗产品审批和上市后监测的重要参考。

Anthropic5天前原文

文档解析——将 PDF、扫描件等非结构化文档转化为机器可读的结构化数据——是 AI 落地中一个看似基础却长期未解决的难题。标注数据稀缺、格式多样性高、任务耦合度大,使得传统方法往往在精度和速度之间难以两全。近日,研究团队发布的 **Infinity-Parser2** 技术报告,尝试用一套统一的框架同时攻克这些挑战。 ## 三大核心贡献 **1. 可控数据合成管线** 团队构建了一个可扩展的合成引擎,结合可控渲染框架与迭代优化循环,生成了 **Infinity-Doc2-5M** 数据集——一个包含 **500 万样本** 的中英双语语料库,覆盖多种文档类型,并标注了元素边界框、规范内容形式(Markdown、HTML、LaTeX、SMILES、结构化图表)以及全页阅读顺序。这一开源资源有望缓解文档解析领域的数据匮乏问题。 **2. 多任务联合强化学习** Infinity-Parser2 引入了一个可验证的多任务奖励系统,支持在 **8 个协同训练目标** 上执行联合强化学习,包括文档解析、布局分析、表格解析、数学公式解析、图表解析、化学式解析、文档 VQA 和通用多模态理解。这使得感知、结构化和推理能力在单一优化信号下得到统一,避免了传统多任务学习中任务冲突或权重调优的麻烦。 **3. 双版本架构** 基于共享架构,团队发布了两个变体: - **Infinity-Parser2-Flash**:针对低延迟推理优化,吞吐量比 Infinity-Parser-7B 提升 **3.68 倍**,适合实时处理场景。 - **Infinity-Parser2-Pro**:面向精度关键场景,在 **olmOCR-Bench** 上达到 **87.6%**,在 **ParseBench** 上达到 **74.3%**,超越了 DeepSeek-OCR-2、PaddleOCR-VL-1.5 和 MinerU2.5 等当前主流模型,并在图表、化学式和文档 VQA 上展现出强泛化能力。 ## 行业意义 文档解析是 RAG(检索增强生成)、企业知识管理和自动化流程的基石。此前,大多数方案要么依赖 OCR 管道(速度慢、错误累积),要么使用通用多模态模型(精度不足)。Infinity-Parser2 通过合成数据+强化学习的组合,展示了在不牺牲速度的情况下达到 SOTA 精度的可能性。特别是 Flash 版本的高吞吐量,使其在实时文档处理(如发票识别、表格录入)中具有实用价值。 不过,合成数据与真实场景的分布差异仍需关注,尽管团队通过迭代优化缓解了这一问题,但真实世界中的文档退化(如手写、模糊、低对比度)仍是挑战。此外,500 万样本的语料库虽大,但语言覆盖仅限中英,多语言扩展有待后续。 ## 小结 Infinity-Parser2 代表了文档解析领域从“单一任务模型”向“统一多任务框架”演进的重要一步。其开源数据集和双版本策略为研究者和工程师提供了灵活的选项。随着企业 AI 对非结构化数据处理需求的激增,这类工作有望加速文档智能的落地进程。

Anthropic5天前原文

近日,一篇发表于arXiv的论文介绍了**VectorizationLLM**,一个基于Google开放权重大语言模型(LLM)构建的**专用AI助手**。该模型专为纽约理工学院(NYIT)老西伯里校区电气与计算机工程技术系的课程**CTEC 247:应用计算分析II**设计,旨在帮助学生掌握**智能向量化、时间/波向量分析、分段函数、傅里叶分析和微分方程**等概念,并使用MATLAB进行实践。 VectorizationLLM的核心设计理念是**“教学辅助”而非“答案提供”**。它通过**检索增强生成(RAG)知识库**和精心设计的**系统提示**架构,确保模型能够基于课堂笔记中的示例,提供详细的概念解释和代码示例,但**不会直接给出问题答案**。这种方式鼓励学生主动思考,真正理解背后的数学原理与编程实现。 该模型的输出形式丰富,包括**代码片段、文本说明和图像**,能够多维度辅助学习。基础模型采用Google的开放权重LLM,保证了语言理解和生成能力,而RAG机制则让模型能够精准检索课程特定内容,提升回答的准确性和相关性。 ### 行业背景与意义 在大模型广泛应用的今天,通用LLM(如GPT系列、Claude等)虽然强大,但在**垂直领域**往往缺乏深度和针对性。VectorizationLLM的出现,展示了**专用LLM**在教育场景下的巨大潜力。它不仅解决了通用模型可能“答非所问”或“直接给出答案”的问题,还通过**RAG技术**将模型与课程内容紧密结合,实现个性化、安全的教学辅助。 对于工程教育而言,MATLAB是重要的工具,但其向量化编程和傅里叶分析等内容对初学者而言往往抽象难懂。VectorizationLLM通过**分步讲解、实例驱动**的方式,能够降低学习门槛,同时避免学生过度依赖AI而丧失独立解决问题的能力。 ### 局限与展望 目前,VectorizationLLM仍处于研究阶段,其适用范围局限于特定课程。未来,类似架构可推广至其他工科课程,甚至扩展到编程、数学、物理等更多学科。此外,论文作者Ryan Duke指出,模型性能高度依赖RAG数据库的质量和系统提示的设计,如何平衡“帮助”与“不越界”仍是关键挑战。 总之,VectorizationLLM是AI教育应用的一次有益尝试,为**“AI+教育”**提供了新的思路:不是取代教师,而是成为**智能的、负责任的助教**。

Anthropic5天前原文

随着智能假肢(又称仿生义肢)日益普及,其带来的隐私风险也引发关注。近日,来自阿尔伯塔大学等机构的研究人员在 arXiv 上发布了一篇论文,提出一个全新的研究领域——**Idiobionics**,旨在系统性地审视隐私与智能仿生义肢之间的交叉问题。 ## 智能假肢的双刃剑 现代仿生义肢已不再是简单的机械替代品。通过集成先进的传感器和基于人工智能的控制方法,它们能够感知环境、响应指令,甚至与用户共同适应。这种半自主的穿戴式机器人系统极大地提升了截肢者的生活质量,让他们能像常人一样行走、抓取物体。 然而,论文指出,正是这些提升能力的传感与控制技术,也引入了新的**威胁向量**。恶意实体可能利用这些漏洞侵犯用户隐私。例如,通过分析假肢的传感器数据,攻击者可能推断出用户的运动模式、日常活动习惯,甚至生物特征信息。 ## 什么是 Idiobionics? 论文作者将 **Idiobionics** 定义为一个全新的研究领域,专注于隐私与智能仿生义肢的交集。该名称源于希腊语“idios”(意为私人的、个人的)和“bionics”(仿生学),强调在仿生设备中保护个人隐私的重要性。 作为论文的主要贡献,研究者首先界定了 Idiobionics 的概念,并将其与相关文献联系起来。随后,他们通过初步实验展示了针对智能假肢的潜在对抗性攻击。例如,他们演示了如何利用假肢的肌电信号(EMG)数据来推断用户的意图,从而在用户不知情的情况下获取敏感信息。 ## 开放研究问题 论文还列出了一系列在 Idiobionics 框架下的开放研究问题,这些问题对可穿戴机器人和其他面向人类的自主系统的研究人员具有重要参考价值。这些问题包括: - **数据隐私**:如何确保假肢采集的生物信号数据在存储和传输过程中不被泄露? - **模型安全**:假肢中使用的机器学习模型如何抵御对抗性攻击? - **用户控制**:用户应如何控制自己的数据,并了解其使用方式? - **伦理考量**:在追求功能提升的同时,如何平衡隐私保护? ## 未来展望 Idiobionics 的提出标志着隐私问题正式进入智能假肢的核心研究议程。研究者认为,只有直面并解决这些隐私风险,才能消除用户对仿生义肢的顾虑,从而充分释放其潜力。未来,Idiobionics 研究有望为设计更安全、更值得信赖的智能假肢提供理论指导和实践方案。 对于人工智能和机器人领域而言,这一新方向也提醒我们:在技术飞速发展的同时,需同步建立隐私保护的屏障,确保科技真正服务于人,而非成为新的风险源。

Anthropic5天前原文

## 概览 传统的基于智能体的建模(ABM)依赖于静态先验知识,难以适应实时变化。来自橡树岭国家实验室等机构的研究人员提出了一种名为 **HALE(混合智能体与语言驱动的流行病模型)** 的新框架,将大语言模型(LLM)的推理能力融入 ABM,使智能体能够动态决策。该研究以犹他州盐湖县的 COVID-19 模拟为例,展示了 LLM 如何提升 ABM 在政策制定中的适应性和准确性。 ## 传统 ABM 的瓶颈与 LLM 的机遇 基于智能体的建模通过模拟大量个体及其交互,为政策评估提供了强大工具。然而,传统 ABM 中的智能体行为规则通常是预先设定的,无法根据实时信息(如新发布的防疫指南)进行调整,导致模型与现实脱节。 **大语言模型** 的出现为预测人类决策提供了新可能。LLM 能够理解复杂语境、吸收最新信息并生成合理的行为响应,这恰好弥补了 ABM 的“静态”短板。 ## HALE 框架:让智能体“思考” HALE 框架的核心思想是将 LLM 作为智能体的“推理引擎”。在模拟的每个时间步,智能体会将当前环境状态、个人属性(如年龄、健康状况)以及外部信息(如政策更新)转化为自然语言提示,输入给 LLM。LLM 输出决策(如是否戴口罩、是否接种疫苗),然后这些决策驱动 ABM 中的行为更新。 关键设计包括: - **可扩展性**:通过批量调用和缓存机制,HALE 能够支持百万级智能体的模拟。 - **混合架构**:LLM 仅负责需要推理的决策(如是否遵守社交距离),而常规行为(如移动)仍由传统 ABM 规则驱动,以平衡计算成本。 ## 实证案例:COVID-19 模拟 研究团队以盐湖县为场景,构建了一个包含人口统计、接触网络和病毒传播模型的 ABM。LLM 智能体根据每日新增病例数、政府建议和邻居行为,动态决定是否减少外出或佩戴口罩。 初步结果显示,相比静态基线模型,HALE 模拟出的感染曲线更接近真实疫情数据,尤其是在政策变化(如封锁令)后的行为转变阶段。这表明 LLM 能够有效捕捉人类在不确定环境中的适应性行为。 ## 行业意义与未来方向 HALE 框架不仅适用于流行病学,还可扩展到交通、金融、社会动态等领域。它的出现标志着 ABM 从“规则驱动”向“推理驱动”的转变。 不过,当前方案仍面临挑战:LLM 的推理延迟和成本可能限制超大规模模拟;同时,LLM 输出的可靠性(如幻觉问题)需要额外校验。未来工作可能包括: - 使用更小、更快的专用语言模型; - 引入不确定性量化机制; - 在更多真实场景中验证框架的泛化能力。 HALE 为 ABM 与 LLM 的结合提供了首个可扩展的实践路径,有望推动政策模拟进入“动态智能”时代。

Anthropic6天前原文

自主系统在部分可观测环境下依赖信念(belief)而非原始传感器数据做出决策。一项新研究提出 **QANTIS** 框架,将量子处理器作为校准的信念更新服务,在经典规划循环中接收先验和观测模型,估计罕见事件证据项,并返回后验概率。该工作以IBM Heron量子硬件为平台,通过经典老虎(Tiger)POMDP基准问题验证了量子信念更新在序贯决策中的可靠性。 ## 核心方法:硬件校准的信念更新 QANTIS 的核心思路是将量子处理器视为一个“黑盒”服务:经典规划器提供先验信念和观测模型,量子电路负责计算归一化常数(证据项),然后返回精确的后验概率。这种方法避免了经典计算中因近似采样导致的误差,同时利用量子振幅估计(Quantum Amplitude Estimation)加速罕见事件概率的估算。 研究团队比较了三种量子策略:**无放大**(No Amplification)、**受控Grover放大**(Guarded Grover Amplification)以及**全步固定点放大**(All-step Fixed-Point Amplification, FPAA)。实验在IBM Heron处理器上运行,对老虎问题的8步和12步主序列进行测试,并额外验证了20步和32步的扩展序列。 ## 关键结果:后验一致性 实验表明,**全步固定点放大(FPAA)** 在所有测试序列中成功保持了老虎问题后验概率的完整性,即量子计算的后验与精确贝叶斯后验在每一步都选择了相同的即时动作。这意味着量子信念更新服务可以在不破坏下游决策的前提下,稳定地替代经典计算模块。 此外,研究引入了 **边界感知BIQAE**(Boundary-aware BIQAE)技术,用于稳定振幅估计在接近0或1时的数值表现。通过罕见事件扫描,团队还映射了百万分之一概率量级下的逻辑采样复杂度包络,为极端稀疏场景提供了理论边界。 ## 意义与局限 这项研究并非宣称量子优势,而是**构建了一个硬件校准的信念更新原语的操作包络**。它证明了在当前噪声量子硬件(IBM Heron)上,量子信念更新可以可靠地用于序贯POMDP决策,而不会污染后验概率。这为未来将量子计算集成到自主系统(如机器人、自动驾驶)的感知-规划循环中提供了实验基础。 论文强调,工作重点在于**硬件案例研究**,而非端到端的速度提升。实际应用中仍需考虑量子资源的开销与经典后处理的接口效率。

Anthropic6天前原文

近日,一篇发表在arXiv上的论文提出了一种全新的、成本效益极高的智能体架构,用于解决**ARC-AGI-1**基准测试中的抽象推理与泛化问题。该研究由Kabir Moghe和Peter Chin完成,探索了除现有两大主流方法之外的“第三条路径”:使用开源模型(DeepSeek V3.2)的非思考模式,在严格预算下,不进行任何ARC特定微调,仅通过架构设计来提升推理性能。 ### 背景:两大传统路径的局限 当前,在ARC-AGI-1上取得进展的方法主要分为两类:一是对前沿模型进行大量测试时计算(如进化搜索、穷举采样、扩展思维链),成本高昂;二是针对基准进行特定训练,即在小模型上用ARC数据微调,往往需要任务专用架构。这些方法要么资源消耗巨大,要么泛化能力受限。 ### 新方法:智能体框架的巧妙设计 该研究提出的核心创新在于两个智能体框架: 1. **Explorer-Definer Pipeline(探索-定义流水线)**:这是一个两阶段智能体流水线,将**模式发现**与**可执行转换合成**明确分离。第一阶段负责发现输入输出示例中的潜在模式,第二阶段则根据发现的模式生成具体的转换程序。该流水线在ARC-AGI-1公开的400个任务评估集上,以**0.25美元/任务**的成本达到了**57.50%的pass@2**。 2. **Reflective Orchestrator(反思协调器)**:在流水线基础上进一步扩展,当先前的假设在训练对上失败时,该协调器能够自主探索新的转换。它引入了一种“反思”机制,通过迭代试错来优化解决方案。最终,该框架以**0.62美元/任务**的成本实现了**67.25%的pass@2**。 ### 关键发现:生成能力是关键瓶颈 论文通过细致的消融实验和诊断分析,揭示了几个重要洞见: - **性能提升的根源**:相比仅使用一次提示的基线模型(15.50% pass@2),这两个框架带来了约**52个百分点**的巨大提升,且未依赖基准特定训练或大量测试时计算。 - **生成受限而非选择受限**:无偏的pass@k分析表明,流水线的瓶颈在于**生成候选方案的能力**,而非从中选择最优方案的能力(通过训练对准确率进行选择能捕获约95%的候选上限)。这意味着,要取得显著改进,需要更广泛的生成,而非更好的排序。 - **反思协调器的有效性**:该协调器通过自适应重新探索实现了这一预测,其无偏pass@1提升了**9.81个百分点**,与经选择中介的pass@2提升相匹配,证实了生成扩展的有效性。 - **思考工具的关键作用**:额外的消融实验显示,流水线中的“think”工具是一个重要组件,移除它会导致pass@2下降**5.75个百分点**。 ### 意义与展望 这项研究展示了**架构设计**在释放开源模型推理潜力方面的巨大价值。它证明,即使不依赖前沿模型的巨大计算量或针对特定任务的微调,通过巧妙的智能体编排,也能在极具挑战性的抽象推理基准上取得显著进展。该路径为未来构建更经济、更通用的AI推理系统提供了新思路。 对于AI行业而言,这一成果暗示着:**智能体框架的优化可能比单纯扩大模型规模或训练数据更具成本效益**,尤其是在需要强泛化能力的场景中。随着类似研究的深入,我们有望看到更多“轻量级”方法在复杂推理任务中崭露头角。

Anthropic6天前原文

大型语言模型在数学领域的应用,过去主要集中于自动形式化证明和定理证明,而计算机代数系统在智能体工作流中的潜力尚未被充分挖掘。近日,一篇被ICML 2026 AI for Math Workshop接收的论文提出了一个ReAct风格的智能体框架,将LLM的推理能力与SageMath的符号计算反馈相结合,并引入Context7提供最新文档上下文,系统评估了前沿模型在科研级数学问题上的表现。 ## 核心思路:智能体+可验证反馈 该研究的关键设计是让LLM智能体在解决数学问题时,能够调用SageMath进行符号计算、数值验证或代数操作,并将SageMath的输出作为可验证的反馈信号,指导下一步推理。这种“推理-行动-观察”的循环(ReAct)模拟了数学家的实际工作流程:提出假设,用CAS验证,根据结果修正思路。同时,Context7确保了LLM能够获取SageMath的最新文档,避免因过时知识导致的错误。 ## 性能提升显著,开源模型追赶闭源 在RealMath基准的科研级问题上,实验结果显示,接入SageMath后所有模型的平均求解率提升了**9.7个百分点**,增益范围从1.5到27.8个百分点不等。其中,**Qwen 3.7-Max**受益最大,提升幅度高达27.8个百分点,而**GPT-5.5**在启用工具后取得了最高的求解率——**75.2%**,且token消耗最低。这一结果说明,CAS增强不仅显著提升了模型解决复杂数学问题的能力,还缩小了开源模型与闭源模型之间的差距。 ## 基准优化:更可靠的评估流程 论文还对RealMath基准进行了改进,引入了多步后处理和多阶段验证流水线,提升了问题集的质量和可靠性。这为后续研究提供了更扎实的评价基础。 ## 意义与展望 这项研究揭示了CAS增强智能体在数学研究中的巨大潜力。相比纯推理或仅依赖搜索的工具,SageMath提供的精确符号计算能力,让LLM在处理代数、数论、组合等领域的问题时更加可靠。作者认为,这是迈向**自动化猜想发现**的重要一步。未来,这类智能体或将成为数学家的数字助手,加速探索与验证。 项目代码已在GitHub开源,感兴趣的读者可进一步了解实现细节。

Anthropic6天前原文

## 核心发现:编排层是控制Token消耗的关键杠杆 一篇由32位作者联合完成的预印本论文(arXiv:2607.06906)提出了一个尖锐的观察:当前企业级Agentic AI的开发普遍陷入“**Token最大化**”陷阱——为了提升能力,开发者不断加长推理链、增加交互轮次、扩大工具调用负载和上下文窗口,导致**每个任务的Token消耗增长速度远超任务价值的提升**。虽然单Token价格持续下降,但总花费反而上升。 论文的核心论点是:对抗Token最大化的决定性杠杆并非模型本身,而是**“缰绳”(Harness)**——即负责组装上下文、暴露工具、编排交互序列、任务委派,并承载企业级可观测性与治理能力的编排层。 ## 实验设计:22个任务×6个模型×2种编排 为了隔离编排层的影响,研究团队设计了严格的对照实验: - **22个固定的企业级评估任务** - **6个基础模型**:Claude Sonnet 4.6、Gemini 3.1、Gemini Flash 3.5、Qwen 3.6、GLM 5.1、Palmyra X6 - **仅改变编排层**:一组使用传统的固定生产循环(即常规编排),另一组使用**Writer Agent Harness**(一种专门优化的编排层) ## 惊人结果:编排层带来的效率跃升 在保持模型不变的情况下,切换到优化的编排层后,整体表现如下: - **混合成本每任务降低41%**(从$0.21降至$0.12) - **中位完成时间减少44%**(从48秒降至27秒) - **每任务Token消耗减少38%**(从14.2k降至8.8k) - **任务完成质量基本持平**(从0.78提升至0.81,在此样本量下为方向性信号) 更值得注意的是,**效率提升对所有模型都有效**——每个模型的成本降低幅度在33%到61%之间。而**质量提升则与模型本身的能力高度相关**:模型基线能力越强,质量增益越大(相关系数r=0.99,n=6),研究者将此现象称为“**缰绳杠杆**”。 最终,**每美元质量提升82%**,每百万Token的任务完成数从54.9提升至92.0。论文还指出,**在这个工作负载上,编排层对单任务成本的影响甚至超过了模型选择的全范围差异**——即更换编排比更换模型更能省钱。 ## 行业启示:从“模型军备竞赛”到“编排效率竞争” 这篇论文的意义在于,它首次将**Token经济学**的视角从模型层下沉到编排层。在AI Agent进入企业落地的关键阶段,单纯追求更强模型(如更长推理链、更大上下文)的成本增长是不可持续的。编排层的优化——包括更智能的上下文管理、工具调用策略、任务分解与结果合并——可能成为企业控制AI支出、提升投资回报率的核心战场。 “缰绳效应”提醒我们:**在Agentic AI系统中,如何组织智能,往往比智能本身更决定经济性**。对于正在构建企业级AI平台的公司而言,这意味着需要将编排层的设计提升到与模型选择同等(甚至更高)的战略优先级。

Anthropic6天前原文

arXiv:2607.06624v1 Announce Type: new Abstract: We present AgentLens, a production-assessed benchmark for interactive code agents. Most code-agent benchmarks reduce a run to a single bit -- did the task pass? -- but the people who actually use these agents experience the entire trajectory: how the agent follows instructions, uses its tools, verifies its own work, recovers from mistakes, and talks to them along the way. AgentLens evaluates that whole trajectory. It pairs formal verification, wher

Anthropic6天前原文

一篇来自希伯来大学研究团队的最新论文,为当前大语言模型(LLM)中流行的“反思驱动推理”提供了严格的理论基础。该研究将模型在推理过程中的迭代搜索、自我批评与修正行为,建模为对推理轨迹的近似后验推断,并首次系统分析了这种做法的采样复杂度——即需要多少次顺序尝试才能达到高成功率。 ## 核心发现:指数级加速的条件 论文的核心结论是:**当模型的自我反思能够可靠地定位早期错误时,上下文搜索可以带来指数级的性能提升**。具体而言,如果基础模型对某个问题的零样本通过率极低(指数级小),通过反思机制进行顺序搜索,只需多项式次数的尝试就能显著提高成功率。相反,如果反思不能有效定位错误,那么条件化于过去的尝试将不会带来任何渐进收益,其效果与简单的并行采样无异。 这一发现直接回应了业界对“思维链”和“自我纠错”有效性的争议:**并非所有反思都有用,关键在于反思的质量**——能否精准识别推理链中的早期错误节点。 ## 理论框架:从先验到后验的近似推断 研究团队将推理过程形式化为一个概率模型:基础模型提供推理轨迹的先验分布,而自我反思则提供反馈信号,用于更新后验分布。模型在推理时进行采样,每次尝试都基于之前的反馈调整策略。这一框架与贝叶斯推断高度相似,使得作者能够借用信息论和统计学习理论中的工具来刻画采样复杂度。 论文进一步证明,即使反思信号只是近似正确的后验更新,也能获得鲁棒的收益。更关键的是,这种能力是可学习的:**通过交叉熵损失训练模型在搜索轨迹上进行学习,只需多项式样本就能让模型学会有效的反思行为**。这为当前流行的“过程奖励模型”和“搜索微调”提供了理论支撑。 ## 与强化学习的联系 研究还将这一框架与基于可验证奖励的强化学习联系起来,证明最优策略扩展实际上实现了相同的后验重加权规则。这意味着,当前许多通过RL训练推理模型的方法,其成功背后可能正是隐式地学习了这种后验推断机制。 ## 实验验证与行业意义 研究者在真实的大型推理模型上验证了关键定性预测,例如:当问题需要多步推理且早期步骤容易出错时,具备高质量反思的模型性能显著优于无反思的并行采样。 这项工作的价值在于:它为“推理时计算”提供了理论边界,帮助开发者理解何时值得投入计算资源进行顺序搜索,以及如何设计更有效的反思机制。对于正在构建长链推理系统的团队而言,论文的结论意味着:**与其盲目增加搜索步数,不如优先提升模型定位早期错误的能力**。

Anthropic6天前原文

## 背景:语言目标与空间关系的“假性接地” 在具身AI领域,紧凑世界模型通过语言目标(如“将红色方块放在蓝色方块左边”)来指导机器人理解空间关系,并利用**参考锚点**(reference anchors)实现关系接地。然而,最新研究揭示了一个严重陷阱:模型可能并非真正感知空间关系,而是**转录指令中的答案**,即“指令泄露”现象。 ## 核心发现:0.90 准确率背后的幻觉 论文《Grounding Spatial Relations in a Compact World Model: Instruction Leakage and a Goal-Free Dynamics Fix》通过实验发现,一个目标条件预测器在关系读出任务上达到了惊人的 **0.90 准确率**,但这本质上是**指令转录**而非感知。当移除目标指令时,准确率骤降至 **0.27**(三组实验种子平均);而输入反事实指令时,预测的锚点 **94.5%** 遵循虚假指令,仅 **2.3%** 符合真实场景(N=256)。 ## 泄露机制:当指令直接命名答案 研究团队在桌面环境和BabyAI基准测试中均观察到泄露现象。其核心机制是:**当指令直接命名了待评估的答案时(例如“左”或“右”),模型倾向于直接从指令中提取答案,而非依赖感知输入**。而在Language-Table前向动力学世界模型中,由于指令仅命名参考对象(referents)而非方向,泄露未发生——直到指令被增强为包含方向信息。此外,降低动作预测质量并未增加泄露,这与“预测器竞争”假说相反。 ## 解决方案:将目标从动力学中剥离 论文提出的修复方案简洁而有效: - **将目标排除在动力学模型之外**:目标仅用于规划器的代价函数,不参与状态预测; - **监督读取路径**:确保关系读出路径独立于目标指令。 采用该方法后,模型在有无目标指令的条件下均达到了 **0.88** 的准确率,实现了真正的、指令无关的空间关系接地。 ## 行业启示 该研究对具身AI领域具有重要警示意义: - **评估指标需警惕“假性成功”**:高准确率可能掩盖模型对指令的过度依赖; - **检测协议可推广**:通过移除或篡改指令来验证模型是否真正理解任务; - **架构设计原则**:语言目标应仅用于规划,而非参与感知过程。 这一发现不仅适用于空间关系,也适用于任何目标条件世界模型中指令直接命名评估量的场景,为构建更鲁棒的具身智能系统提供了关键指导。

Anthropic6天前原文