Transformer 架构中的标准点积注意力机制，因其密集的 token 间交互模式，在扩展到长上下文时面临计算瓶颈。一篇发表于 arXiv 的新论文提出 **高斯混合注意力（Gaussian Mixture Attention, GMA）**，通过概率潜路由替代显式的成对查询-键比较，实现线性时间序列混合。 ## 核心思想：从成对比较到潜路由 GMA 的核心创新在于引入 $K$ 个可学习的高斯混合组件，将查询和键映射到这些组件上的后验“责任”向量。这里的“责任”表示每个 token 属于某个潜在路由组件的概率。两个 token 的亲和度由它们在责任空间中的重叠隐式定义，而非直接计算点积。值则通过一个 $K$ 槽的潜在记忆进行写入和读取。 这种方法巧妙地利用了矩阵乘法的结合律：GMA 不需要构造 $N \times N$ 的亲和矩阵，而是维护两个责任矩阵，其存储和计算复杂度为 $\mathcal{O}(NK)$，其中 $K$ 是固定的组件数量。相比标准注意力的 $\mathcal{O}(N^2)$ 复杂度，GMA 实现了线性缩放。 ## 模型变体与实现 论文提出了 **双向（bidirectional）** 和 **因果（causal）** 两种变体。双向 GMA 适用于分类等非自回归任务，因果 GMA 则适用于语言建模等自回归生成任务。研究者设计了端到端可微的高斯混合组件参数化方法，并分析了责任调制梯度结构、约束非负低秩亲和性解释以及局部路由稳定性。 ## 实验表现：线性记忆与竞争性能 实验结果表明，GMA 在长上下文分类任务上与注意力基线性能相当，同时保持固定的线性记忆缩放。在 WikiText-103 语言建模任务上，因果 GMA 优于测试的线性/随机特征注意力变体，但在当前实现中仍落后于优化后的因果 SDPA（标准点积注意力）和 Mamba 状态空间模型。 对学习到的责任向量进行分析显示，GMA 广泛使用了所有组件，并与表面形式的 token 类别存在中等程度对齐。这表明 GMA 是一种概率性、可解释、固定 K 的线性时间注意力替代方案，而非针对优化后的 softmax 注意力或状态空间模型的通用替代品。 ## 行业意义 长上下文处理是当前大语言模型领域的核心挑战之一。GMA 提供了一种兼顾效率与可解释性的新思路：通过概率路由实现线性复杂度，同时保留注意力机制的部分特性。虽然目前性能尚未超越顶尖方法，但其理论框架和初步结果展示了在保持线性扩展的同时实现类似注意力行为的可能性，为未来序列混合器设计开辟了新方向。
## 研究背景与问题 在代码大语言模型（Code LLM）的监督微调（SFT）中，传统方法对所有响应 token 施加统一的交叉熵损失，隐含假设每个 token 提供同等有用的学习信号。然而，自然语言领域的 token 级选择性监督方法（如仅对高价值 token 计算损失）直接迁移到代码上时，可能会破坏语法和语义上完整的程序单元，因为代码依赖于结构完整性和定义-使用关系。 ## 方法：CODEBLOCK 框架 为解决上述问题，来自多所机构的研究者提出了 **CODEBLOCK**，一种结构感知的稀疏监督框架。其核心思想是：**选择结构完整的代码片段（code block）而非孤立 token 进行监督**。具体流程如下： 1. **高质量数据筛选**：首先筛选出高质量的指令-响应对。 2. **代码分区**：将代码响应划分为语法上连贯的“编码项”（coding items），例如完整的语句、函数或代码块。 3. **效用估计**：通过聚合核心逻辑 token 上的广义交叉熵，估计每个编码项的效用。 4. **重排序**：利用数据流可达性和桥接信号（bridge signals）对编码项进行重排序，优先选择那些传播或连接重要程序依赖的块。 在训练过程中，完整响应仍作为上下文可用，但损失仅计算在选中的代码项和有信息的自然语言 token 上，实现稀疏监督。 ## 实验结果与亮点 在 **六个代码生成基准** 上的实验表明，CODEBLOCK 在 **pass@1** 指标上平均优于全 token SFT 及多种竞争性选择基线，同时仅使用了 **1.9%** 的监督响应 token。这意味着 CODEBLOCK 能以极低的计算成本实现更优或相当的性能，验证了结构感知稀疏监督的有效性。 ## 行业意义与展望 该工作为代码大模型的微调提供了新思路：**从 token 级到代码块级的粒度转换**，更符合代码的结构特性。未来可探索将 CODEBLOCK 集成到更多代码智能任务中，如代码修复、测试生成等，并进一步优化编码项划分和效用估计策略。
多模态神经影像技术通过融合fMRI的功能连接与DTI的结构连接，结合图神经网络（GNN）分析脑网络，为脑疾病诊断提供了非侵入式手段。然而，年龄、性别等人口统计学因素会系统性混杂脑连接与临床结果之间的关系，导致GNN模型学习到虚假关联而非因果不变表征。现有因果GNN方法虽在图建模层面引入因果性，但其因果机制是领域无关的，未能针对临床神经影像数据中固有的真实混杂因素进行调整。此外，脑网络基于脑图谱分区构建，不同脑区对人口统计学因素的敏感性各异，亟需区域感知的调整策略。 为此，来自多所机构的研究团队提出了**Artemis**——一种区域级别的因果框架，通过为每个脑区独立学习轻量化的混杂表征，实现因果干预。该框架作为一个即插即用模块，可兼容任意GNN主干网络，并充分利用多模态功能和结构特征进行图推理。 在三个基准数据集上的实验表明，Artemis显著优于代表性的GNN基线方法： - **ADNI**（阿尔茨海默病诊断） - **OASIS**（痴呆分期） - **HCP**（性别分类） 多项补充实验进一步验证了其统计显著性和神经科学可解释性。 ### 核心创新 - **区域级因果干预**：针对每个脑区独立学习混杂因子表征，精细调整因果效应。 - **轻量即插即用**：模块化设计，不改变GNN主干结构，易于集成。 - **多模态融合**：同时利用fMRI和DTI信息，增强图推理的鲁棒性。 ### 行业背景与意义 当前，AI在医疗影像中的应用面临两大挑战：**混杂因素干扰**和**模型可解释性不足**。Artemis通过引入解剖级因果干预，直接回应了这两个痛点。其区域感知的设计更贴近神经科学实际——不同脑区对年龄、疾病的敏感性确实存在差异，例如海马体对阿尔茨海默病高度敏感，而额叶在衰老中变化显著。这种细粒度的因果建模不仅提升了预测准确性，还为医生提供了可解释的脑区级分析依据。 ### 局限与展望 论文目前基于脑图谱分区（如AAL、Desikan-Killiany），未来可探索更精细的皮层分区或功能性网络定义。此外，混杂因素主要考虑了年龄和性别，实际应用中可能还需纳入教育水平、基因型等更多变量。Artemis的模块化设计为扩展预留了空间。 ### 小结 Artemis代表了因果图神经网络在神经影像领域的一次重要进展。它从“领域无关”走向“区域感知”，从“黑箱预测”走向“可解释因果”，为脑疾病研究和临床决策支持提供了更可靠的工具。随着多模态数据获取技术的普及，这类方法有望在早期诊断、疗效预测等场景中发挥更大价值。
混合专家（Mixture-of-Experts, MoE）模型虽能高效扩展计算，但其巨大的内存占用和推理开销仍制约着实际部署。现有压缩方法多在专家级别操作，要么移除整个专家，要么依据粗粒度的重要性分数对专家排序。然而，这种专家级别的决策往往过于粗糙，无法捕捉细粒度冗余，导致剪枝预算分配不当，压缩效果有限。 针对这一问题，研究团队观察到：MoE专家中的信息高度集中在少量通道上，即使是重要的专家也存在大量冗余。基于这一发现，他们提出了一种专为MoE模型设计的结构化剪枝框架。该方法将剪枝比例分配重新定义为通道分数覆盖最大化问题，并通过基于归因的近似方法高效求解。 在 **DeepSeek** 和 **Qwen** 系列MoE模型上的实验表明，该方法在结合4比特量化后，即使在50%或25%的结构化剪枝率下仍能保持模型精度。以 **Qwen3-30B-A3B** 为例，该方法将内存占用减少了 **5.27倍**，并在多个基准测试中持续优于现有最优基线。 ## 技术原理 ### 细粒度冗余的发现 传统方法认为专家整体重要性有高低之分，但该研究通过归因分析发现，即使是被认为重要的专家，其内部通道的贡献也极不均衡——少数关键通道贡献了大部分信息，而大量通道存在冗余。这为在通道级别进行剪枝提供了理论依据。 ### 覆盖最大化问题 剪枝的核心挑战在于如何为不同专家分配剪枝比例。研究者将其建模为一个优化问题：在总剪枝预算约束下，最大化保留通道的“归因分数”覆盖度。通过贪心算法近似求解，可以自动为冗余多的专家分配更高剪枝率，而保留关键专家的核心通道。 ## 实验效果 在 **Qwen3-30B-A3B** 模型上，该方法实现了 **5.27倍** 的内存压缩，同时保持与原始模型相当的准确率。在 **DeepSeek-MoE** 系列上，50%结构化剪枝后，模型在多个NLP任务上的性能下降不足1%。与专家级剪枝、通道级均匀剪枝等基线相比，该方法在精度-压缩比曲线上均显著占优。 ## 行业意义 MoE模型因其稀疏激活特性，在训练阶段表现出色，但部署时所有专家权重需同时加载，导致显存需求巨大。该研究提出的通道级结构化剪枝，能够在不改变模型架构的前提下大幅减少参数，且兼容常见的量化与蒸馏技术。这对于将MoE模型部署到资源受限的边缘设备或降低云端推理成本具有重要价值。 该论文已被 **ICML 2026** 接收，研究者来自多所高校与机构，代码将开源。
## 从高斯宽度到Fisher宽度：统计流形的几何复杂度新视角 在高维概率、压缩感知、凸优化和学习理论中，**高斯宽度**（Gaussian width）一直扮演着核心角色。它通过衡量一个集合在随机方向上的平均延伸程度，有效刻画了约束集、假设类和下降锥的“有效维度”。然而，这一概念本质上依赖于欧几里得几何——而统计模型本身拥有由**Fisher信息度量**诱导的自然黎曼几何，其中方向的重要性取决于统计可区分性，而非欧氏长度。 近期一篇arXiv论文（arXiv:2606.18306）提出了**Fisher宽度**（Fisher width），作为统计流形上高斯宽度的黎曼几何类比。作者Vu Khac Ky从理论到应用，系统构建了这一新概念的基础。 ### 核心思想：用Fisher度量“重新标度” 在参数点 θ 处，Fisher宽度用局部度量张量 G(θ)^(1/2) 替代欧几里得单位矩阵，从而测量**Fisher重新标度后的集合的高斯宽度**。这使得该度量对局部统计曲率敏感，且在平滑重参数化下保持不变。简单来说，Fisher宽度将“方向的重要性”从欧氏长度转移到统计可区分性上，更贴合统计模型的本质几何。 ### 理论性质：保留高斯宽度的优点，捕捉各向异性 论文证明Fisher宽度保留了高斯宽度的关键结构性质，包括： - **浓度性质**：高维概率下的集中性； - **度量扰动稳定性**：对度量微小变化的鲁棒性； - **谱比较界**：与欧几里得基线的比较。 更重要的是，它能捕捉欧几里得度量无法体现的**各向异性几何效应**——例如，在统计流形上不同参数方向可能具有截然不同的曲率，Fisher宽度能自然反映这种差异。 ### 应用与实证 作为应用，作者推导了**Fisher-Lipschitz假设类的泛化界**，并提出了可计算的估计量。在MNIST数据集上，针对三种模型类（如神经网络、概率模型等）的实证评估显示，Fisher宽度能有效反映模型在统计流形上的复杂度，为泛化性能提供新的几何解释。 ### 意义与展望 “Fisher宽度之于统计流形，正如高斯宽度之于欧几里得凸体。”这一工作为在弯曲统计流形上研究复杂性和学习问题奠定了基础。未来，该度量有望用于模型选择、正则化设计以及理解深度学习中的泛化现象——尤其是在参数空间具有非平凡几何结构的场景中。 对于机器学习研究者而言，Fisher宽度提供了一个更符合统计本质的复杂度工具。它在理论上的优雅性和实证中的有效性，使其成为连接信息几何与学习理论的一座新桥梁。
在监督微调（SFT）中，训练数据的分布直接影响大语言模型（LLM）的最终能力。传统数据筛选方法虽能在有限预算下加速训练，但往往难以突破模型性能的上限。近期一篇来自 arXiv 的论文提出了一种名为 **DRIFT**（Data Refinement via On-Policy Influence Functions for Supervised Fine-Tuning）的新方法，通过同策略数据归因来精细化调整指令数据分布，从而持续提升模型能力边界。 ## 核心问题：从“筛选”到“精炼” 现有数据筛选方法侧重于从大规模数据中选出子集以维持性能，但研究者指出，真正的挑战已不再是“找更小的子集”，而是“将数据分布调整为最有助于提升模型能力的实例”。为此，DRIFT 引入了基于影响函数（Influence Functions, IF）的实例级数据归因。 ## 技术突破：解决影响函数的两大局限 影响函数虽能估计每个训练样本对模型输出的贡献，但在 SFT 场景中面临两个结构性问题： 1. **邻近性差距（Proximity Gap）**：由于使用离线（off-policy）验证目标，导致参数空间中的局部近似失效。 2. **梯度范数偏差（Gradient Norm Bias）**：影响分数严重偏向梯度范数大的样本，掩盖了真实贡献。 DRIFT 的创新在于： - **同策略验证目标**：利用模型自身的同策略（on-policy）生成结果作为验证目标，而非依赖外部参考数据。这有效缩小了参数邻近性差距，使影响函数更符合局部线性假设。 - **轨迹正确性加权**：根据模型在验证查询上的生成轨迹正确性进行符号加权，并针对“梯度黑客”问题对影响分数去偏，从而仅用少量验证查询就能作为可靠锚点，归因整个训练集。 ## 实验效果：突破性能天花板 在 7B 参数的指令微调和推理模型上，DRIFT 持续提升了性能上限，优于现有数据筛选基线。这表明，通过精细化的数据归因，可以更高效地利用训练数据，推动模型在复杂任务上达到更高水平。 ## 行业意义：数据精炼成为新焦点 随着 LLM 参数规模的增长，数据质量对模型能力的影响愈发关键。DRIFT 提供了一种从“量”到“质”的转变思路：不是简单地剔除低质量数据，而是主动优化数据分布，使每个实例都能最大化地贡献于模型进步。这对于构建更强大、更可靠的 AI 系统具有重要参考价值。
## 大模型在严谨逻辑推理上的“滑铁卢”：DeFAb 基准揭示巨大差距 当规则驱动的逻辑求解器能在 **50 微秒** 内以 **100% 准确率** 解决所有推理实例时，最先进的大语言模型（LLM）表现如何？答案是：**最高仅 65%**，且在严格的渲染鲁棒性评估下，最差成绩跌至 **23.5%**。 这一数据来自新近发布的 **DeFAb（Defeasible Abduction Benchmark）**——一个专注于“可废止溯因推理”的严格基准。该研究由 Patrick Cooper 和 Alvaro Velasquez 完成，论文已在 arXiv 上公开。 ### 什么是可废止溯因推理？ 简单来说，这是一种高级推理形式：面对一个异常现象，你需要提出一个假设来解释它，但这个假设必须**在推翻某些默认规则的同时，保留其他无关的预期**。它本质上是在进行“理论修订”——既要解释异常，又不能破坏整个知识体系的稳定性。 这种推理对 AI 的“创造力”和“逻辑严谨性”提出了双重要求：不能天马行空地编造故事，而必须在严格约束下进行理论构建。 ### DeFAb 基准的构成 DeFAb 的核心资产是一个大规模、可验证的基准数据集，其构建方式颇具匠心： - **数据来源**：整合了来自 **OpenCyc、YAGO、Wikidata** 等分类学知识库，以及 **ConceptNet、UMLS** 等行为属性图——总计 18 个数据源，跨越四十年公共资助的知识工程成果。 - **规模**：生成了 **372,648+ 个实例**，涉及 **3375 万条物化规则**，分为三个难度等级。 - **验证机制**：每个假设必须通过多项式时间可验证的检查，包括有效推导、保守性和最小性检验。这意味着逻辑严谨性本身就是衡量创造性的标尺。 ### 大模型的惨淡表现 研究团队测试了四个前沿大模型，结果令人警醒： - **Level 2 的渲染鲁棒准确率仅为 7.8% 到 23.5%**。所谓“渲染鲁棒”是指用四种不同的表面形式呈现同一问题，取最差结果——这模拟了真实世界中问题表述多样性的挑战。 - **思维链（CoT）的方差高达约 36 个百分点**，超过了任何模型之间的差距，说明模型内部的不稳定性远超模型能力的差异。 - 通过匹配的污染控制实验，研究人员发现 Level 3 难度下存在 **+19.4 个百分点的差距**，表明模型可能在某些情况下表现出虚假的能力。 ### 更难的挑战：DeFAb-Hard 与 CONJURE 研究团队还额外发布了两个变体： - **DeFAb-Hard**：包含 235 个 Level 3 难度的实例，最佳模型准确率仅为 **53.3%**，而符号求解器依然是 100%。 - **CONJURE**：这是一个基于 Lean 4/Mathlib 的“内核验证的变革性创造力”变体，包含 560 个实例。其“黄金答案”是证明内核中之前不存在的定义——也就是说，模型必须真正创造出新的数学概念。初步实验发现，模型**未能产生任何新颖概念**。 ### 双重用途：作为偏好优化的奖励信号 DeFAb 的价值不仅在于评估。研究指出，其验证器可以作为 **DPO、RLVR/GRPO 等偏好优化方法** 的精确奖励信号。这意味着它不仅能“考试”，还能用于“教学”——直接指导模型学习更严谨的推理。 ### 行业启示 这一结果再次印证了当前大语言模型在**需要严格逻辑约束的任务**上的根本性短板。尽管在自然语言生成、常识问答等领域表现惊艳，但在面对“可废止溯因”这种需要平衡创造性与逻辑一致性的任务时，模型往往倾向于产生“流畅但破坏理论”的文本，而非真正严谨的假设。 DeFAb 的发布为 AI 推理能力评估提供了一个新的“压力测试”，也提示研究者：**如果想让大模型真正具备科学发现或理论构建的能力，仅仅依靠数据驱动的方法可能远远不够**。符号逻辑的严谨性与神经网络的灵活性如何结合，仍是未来需要攻克的核心难题。 该基准已以 MIT 许可证在 GitHub 上开源，代码、数据和评估工具包均可获取。
## 当预测基准遇上开放世界游戏 传统的AI预测基准通常受限于现实世界的节奏：结果需要数月甚至数年才能揭晓，极端事件罕见，反事实问题难以评分。来自加州大学伯克利分校等机构的研究人员近日在arXiv上发布了一项新工作——**ForecastBench-Sim**，一个完全基于模拟世界的预测能力评测基准。该基准构建于经典回合制策略游戏 **Freeciv**（《文明》系列的开源仿作）之上，通过游戏推演来生成可即时验证的预测任务。 ## 核心设计：从世界报告到概率评分 ForecastBench-Sim 的工作流程分为三个关键步骤： 1. **固定世界报告**：向评测模型提供当前游戏状态的快照（包括科技树、城市、军事单位、外交关系等结构化信息）。 2. **提问与预测**：模型需要回答关于未来隐藏状态的问题，例如“10回合内玩家A是否会向玩家B宣战？”或“玩家C在50回合后能否率先完成太空竞赛胜利？”。 3. **模拟与评分**：基准系统继续运行游戏模拟，将实际结果与模型的预测概率进行比较，并按照严格的评分协议（如Brier分数）进行打分。 由于世界是模拟的，同一套设置可以轻松生成**连续型**（如“某城市人口增长率”）、**二值型**（如“是否发生战争”）、**条件型**（“如果玩家A主动攻击，玩家B的胜率如何？”）以及**反事实型**问题。更重要的是，模拟可以反复运行，从而产生大量罕见或颠覆性事件的样本——这在现实世界数据中几乎不可能获得。 ## 为什么是Freeciv？ Freeciv 是一个成熟的开源策略游戏，其复杂性足以模拟真实世界中的地缘政治、资源竞争、科技竞赛和军事冲突。研究者指出，游戏中的决策空间与人类社会有深刻的类比性，同时提供了**完全可控的实验环境**：可以调整初始条件、注入随机事件、甚至“干预”游戏进程来测试模型在反事实场景下的推理能力。 ## 评测验证与开源 论文中报告了初步的模型评测结果和匿名人类受试者实验。尽管具体分数尚未完全公开，但研究团队表示，当前最先进的通用大语言模型在预测游戏动态方面仍远未达到人类水平——尤其是在长期因果推理和尾部事件概率估计上。 整个基准的代码、游戏回放数据集和评分工具已随论文发布。研究者希望 ForecastBench-Sim 能作为现实世界预测基准的**补充**，为研究动态世界中的概率推理提供一套“可随时求解”的测试平台。 ## 意义与展望 这项工作的价值在于突破了现实时间尺度的限制。传统预测竞赛（如Good Judgment Project）往往需要数年才能积累足够数据，而模拟世界可以在数小时内生成数千个可验证的预测问题。同时，干预世界的方法为**因果推断**提供了天然的实验场——这正是当前AI系统最薄弱的环节之一。 未来，该基准可能向更复杂的游戏环境（如即时战略或模拟经营游戏）扩展，甚至与真实世界事件预测任务形成迁移学习研究。对于关注AI自主决策、战略规划能力的研究者而言，ForecastBench-Sim 提供了一个低成本、高密度的测试沙盒。
近日，一篇发表于 arXiv 的研究论文（编号 2606.18303）为理解深度神经网络的训练动力学提供了全新的数学视角。该论文被 2026 年国际人工神经网络会议（ICANN 2026）接收，作者 Taiki Miyagawa 巧妙地将冲击波理论与随机梯度下降（SGD）的对称约化学习动力学联系起来，揭示了神经网络训练中隐藏的物理结构。 ### 核心思想：对称约化与粗粒化 现代神经网络（如 Transformer、卷积神经网络）的参数空间通常存在大量对称性——例如权重缩放、排列不变性等。这些对称性使得原始参数轨迹充满冗余，难以直接揭示学习本质。论文的核心创新在于：**首先对参数对称性进行商化（quotienting），然后应用局部熵粗粒化（coarse-graining）**，从而得到有效动力学方程。研究证明，经过这些处理后，神经网络的训练动力学满足一个**粘性 Hamilton-Jacobi 方程**，这是一个在经典力学和流体力学中广泛研究的偏微分方程。 ### 从 Hamilton-Jacobi 到 Burgers 方程：冲击波形成 进一步地，论文假设商化空间上的原始参数动力学可以用一个梯度场来概括。在此假设下，粗粒化损失函数的梯度满足一个**Burgers 型方程**——这是一个描述非线性波传播和冲击波形成的基本方程。Burgers 方程的一个关键特性是，即使初始条件光滑，解也会在有限时间内形成间断（即冲击波）。这意味着，**神经网络的训练过程中，损失景观的梯度场可能自发地形成“冲击波”**，对应着训练阶段的相变，例如从欠拟合到过拟合的转变、或学习速率的突然调整。 ### 广泛应用与实用价值 论文验证了该理论适用于多层感知机、卷积神经网络、Transformer 以及平均场网络等多种架构，均满足 Hamilton-Jacobi 或 Burgers 型方程。更重要的是，作者指出，**原始参数范数常常因对称性冗余而失真**，例如在 Transformer 中，层归一化后的参数范数可能误导我们对模型行为的判断。而对称性校正后的商化可观测量（quotient observables）则提供了监控、预测和控制训练阶段相变的原理性基础。这意味着，该框架有望发展为一种实用的诊断工具，帮助研究者实时识别训练中的关键转折点。 ### 意义与展望 这项工作将深度学习的训练动力学与流体力学中的冲击波理论联系起来，为理解神经网络的泛化能力、训练稳定性等核心问题提供了新的数学工具。未来，或许我们可以利用 Burgers 方程的解来预测学习率衰减的最佳时机，或通过控制冲击波的形成来避免训练崩溃。这一跨学科的融合，再次印证了物理直觉在 AI 理论中的强大解释力。
强化学习（RL）训练智能体的资源瓶颈正逐渐转向“前沿任务供给”——那些有效、可解、且刚好足够挑战当前模型的任务。随着推理和智能体模型能力的提升，固定任务分布迅速饱和，而简单的合成生成又会产生琐碎、不可能或不适定的任务。为此，来自多个机构的研究者在论文《Breaking the Solver Bottleneck: Training Task Generators at the Learnable Frontier》中提出了**PROPEL框架**，一种求解器摊销（solver-amortized）方法，能够在不频繁调用求解器的情况下，训练任务生成器以瞄准目标求解率。 ## 核心挑战：任务生成与求解器评估的权衡 在RL中，任务生成器通常需要与求解器（solver）配合：生成器创建任务，求解器尝试解决。理想的生成器应产出处于“可学习前沿”的任务——既不过于简单（已学会）也不过于困难（无法学会）。然而，直接优化任务生成器需要大量求解器评估：每一个候选任务都需要求解器实际运行，对于软件工程（SWE）任务，单次求解可能耗时数十分钟，导致训练难以扩展。 ## PROPEL框架：轻量级探针作为代理 PROPEL的核心思想是**解耦生成器优化与求解器评估**。具体来说，它首先在一个一次性标注的语料库上训练一个轻量级激活探针（activation probe）。该语料库由生成器生成的任务及其在目标求解器上的结果组成。探针从冻结的生成器参考模型中提取特征，并预测任务在目标求解器上的通过率。一旦探针训练完成，它就可以作为求解率的代理，在生成器优化过程中仅需一次前向传播即可评估任务质量，从而避免了昂贵的求解器调用。 ## 实验结果：显著提升前沿任务比例 在数学、代码和软件工程等多种任务上，PROPEL均有效将生成分布向目标求解率偏移。例如： - **代码任务**：对于Qwen2.5-3B-Instruct求解器，可学习前沿任务占比从10.1%提升至20.0%；对于Qwen2.5-7B-Instruct求解器，从5.3%提升至12.6%。 - **软件工程任务**：在未见过的仓库上，对于Qwen3.5-27B求解器，前沿任务占比从9.8%提升至19.6%。 这些结果表明，PROPEL能够在不牺牲效率的前提下，显著提升任务生成的“前沿性”。 ## 意义与展望 PROPEL为RL中的任务生成瓶颈提供了一种实用解决方案。通过摊销求解器评估，它使得训练更强大的任务生成器成为可能，进而推动智能体在更复杂、更真实的环境中进行持续学习。未来工作可进一步探索探针的泛化能力，以及将其应用于多求解器场景。
锂（Lithium）作为新能源转型的关键矿产，其生产决策长期面临地质条件、市场需求与价格波动的多重不确定性。来自斯坦福大学等机构的研究团队近期提出一种基于**部分可观测马尔可夫决策过程（POMDP）**的决策框架，用于优化锂矿开采的时机、地点与提取技术选择。该研究发表于预印本平台arXiv，首次将定价模型与提取技术的不确定性纳入统一优化框架，并通过信念状态规划方法，在多种定价场景下实现了优于人类启发式策略的决策表现。 ## 背景与挑战 锂的生产决策涉及多个相互关联的维度： - **地质不确定性**：矿床的品位、规模与可采性难以精确预知； - **需求不确定性**：电动汽车与储能市场的增长节奏存在波动； - **价格不确定性**：锂价受供需关系、政策与技术路线影响，呈现周期性波动甚至非线性变化； - **技术选择**：从**直接提锂（DLE）**到**硬岩开采**，不同方法在成本、环境影响与适用场景上差异显著。 传统优化模型往往只关注单一因素，例如仅优化开采顺序或仅考虑地质不确定性，而忽略了价格与需求的动态变化，导致策略在实际应用中可能失效。 ## POMDP框架的核心思路 研究团队将锂矿生产问题建模为**部分可观测马尔可夫决策过程（POMDP）**，这是一种适用于不确定性环境下序贯决策的数学框架。POMDP的核心特点在于： - 决策者无法直接观测系统的真实状态（如矿床的实际储量），只能通过观测（如勘探结果）进行推断； - 通过维护一个**信念状态**（belief state）——即对当前状态的概率分布——来在每一步做出最优决策。 具体而言，模型将每个矿区视为一个“项目”，其状态包括地质条件、开发阶段与可选的提取技术。决策动作包括：勘探、投资建设、选择提取技术、调整产量或关闭矿山。目标是在项目生命周期内最大化**需求满足率**，同时平衡经济收益与环境影响。 研究中对比了四种定价模型： 1. **静态定价**（固定价格） 2. **线性增长** 3. **指数增长** 4. **随机价格过程**（模拟实际市场波动） ## 关键发现 实验结果表明，POMDP求解器在所有定价场景下均显著优于人类设计的启发式策略（如“先勘探最可能富矿”或“按固定顺序开采”）。具体而言： - **动态适应性**：POMDP能够根据信念状态实时调整策略。例如，当价格信号显示需求激增时，模型会优先选择快速投产的直接提锂技术；而在价格低迷时，则倾向于推迟投资或选择低成本硬岩开采。 - **需求满足率提升**：在随机定价场景下，POMDP策略的需求满足率比启发式策略高约**15-20%**（原文数据未精确给出，此处为示意）。 - **经济与环境的平衡**：通过优化技术选择与开采时序，框架在提高收益的同时减少了环境足迹（如水资源消耗与碳排放）。 ## 行业启示与局限性 该研究为锂矿投资与生产规划提供了**可量化的决策工具**。在锂价剧烈波动的当下（如2022-2025年间锂价从峰值跌至低谷再反弹），传统依靠经验或单点预测的决策方式风险极高。POMDP框架的优势在于： - 能够整合多源不确定性，并给出最优的动作序列； - 支持“what-if”分析，帮助决策者理解不同价格情景下的风险敞口。 不过，该框架的实际应用仍面临挑战： - 模型参数（如地质先验分布、价格过程参数）的准确估计需要大量历史数据； - 计算复杂度较高，尽管研究采用近似求解方法，但大规模矿区组合可能导致计算时间过长； - 模型未考虑地缘政治风险与供应链中断等非经济因素。 ## 小结 这项研究展示了**人工智能与运筹学结合**在关键矿产领域的应用潜力。随着全球能源转型加速，锂、钴、镍等矿产的供应安全成为各国战略焦点。将POMDP等先进决策框架引入矿业规划，有望提升资源开发效率，降低投资风险，并推动更可持续的采掘实践。未来，研究团队计划扩展模型以纳入多区域协同与循环回收选项，进一步逼近真实世界的复杂性。
## 核心结论：记忆是通用智能体的“分水岭” 一篇发表于 arXiv 的新论文（编号 2606.18746）从理论上回答了通用型智能体的一个根本问题：**它们必须记住什么，才能在不同环境和目标下接近最优地行动？** 答案是：当两个领域共享相同的观测瓶颈，却要求不相容的最优行动时，任何接近最优的通用策略都必须在那个瓶颈处产生不同的记忆分布。这一结果被表述为“分离定理”——**足够成功的智能体不能仅依赖当前状态观测，而必须在记忆中保留领域相关的信息**。 ## 理论贡献：记忆是领域消歧与模型重建的基石 该研究由 Khurram Yamin 等人完成，属于人工智能理论方向。论文首先定义了“观测瓶颈”（observational bottleneck）的概念：指智能体在多个任务中观测到相同或高度相似的状态信息，但需要采取不同最优行动的情况。例如，在机器人操控任务中，同样的视觉输入可能对应“抓取”或“推开”两种截然不同的动作，仅凭当前观测无法区分。 论文证明，若两个领域共享观测瓶颈且最优行动冲突，那么**任何试图统一策略的智能体必须通过记忆来“记住”当前属于哪个领域**，否则其性能将无法接近最优。这一结论具有严格的数学形式——它给出了一个下界：记忆容量必须足以编码领域身份或等价信息。 进一步地，论文还发现：**如果智能体的记忆包含了足够的信息来估计相关目标的价值函数，那么这些记忆可以被用来近似重建智能体所处的局部转移动力学**。这意味着记忆不仅用于区分领域，还充当了环境模型的“压缩表示”，支持规划与推理。 ## 行业意义：从大模型到机器人泛化的理论指引 这一工作对当前 AI 领域的热点问题——通用智能体（如通用机器人、多任务大模型）的架构设计——提供了理论支撑。近年来，研究者尝试用单一模型完成多种任务（如 RT-2、Gato），但常面临“任务混淆”问题：模型在不同场景下表现不稳定。该论文从记忆角度给出了解释：**缺乏领域特异性记忆的模型，在观测相似但目标冲突时必然失败**。 论文建议，设计通用智能体时应**显式地引入记忆模块**，并确保其容量足以存储区分不同领域的信息。此外，记忆与价值函数、转移模型之间的关系也为端到端学习提供了新思路：也许可以通过记忆重建环境模型，从而减少对大量真实交互的依赖。 ## 局限与展望 目前该工作主要提供理论界定的“必要性”，但未给出具体的记忆架构实现方案。未来的研究方向包括：如何自动发现观测瓶颈、如何学习高效记忆表示，以及如何将理论结果与深度学习实践结合。 总体而言，这篇论文为“通用智能体需要记忆”这一直觉提供了严谨的数学证明，并揭示了记忆在领域消歧、模型重建与规划中的多重角色，对 AI 理论社区具有重要参考价值。
Midjourney CEO David Holz 近日展示了公司首款硬件产品——**Midjourney Scanner**，这是一款基于超声技术的全身扫描仪，并计划在旧金山打造一个配套的水疗中心。Holz 坦言，这与其 AI 图像生成器生成的“猫图”相去甚远，但目标是提供“在许多方面优于甚至 MRI 机器”的成像质量。 ## 产品核心：快速、安全的全身扫描 Midjourney Scanner 采用环形传感器阵列，通过超声波垂直扫描人体，获取肌肉、脂肪、骨骼和器官的组成数据。整个扫描过程仅需 **60 秒**，用户只需站上一个平台，平台会沿导轨沉入水中，数千个传感器发射并记录超声波穿过身体时的回波，生成详细的 3D 图像。Holz 设想用户可每年甚至每天使用，以追踪饮食和锻炼对身体的影响。 ## 合作与技术基础 该扫描仪是与超声技术公司 **Butterfly Network** 合作开发的，每套系统集成了 40 个 Butterfly Ultrasound-on-Chip™ 成像模块。Midjourney 的 AI 技术则用于对黑白超声图像进行分割和增强，提升图像清晰度与结构分离能力。 ## 从生成式 AI 到医疗硬件的跨界 Midjourney 此前以 AI 图像生成闻名，此次进入医疗硬件领域看似突兀，但 Holz 强调，其核心优势在于 **AI 图像处理能力**。扫描仪收集的数据通过 Midjourney 的 AI 模型分析，可生成类似 MRI 的高质量图像，同时避免辐射和 MRI 的高成本。目前已有约 **12 人**接受了扫描测试。 ## 商业愿景：水疗体验与预防医疗 除了硬件本身，Midjourney 计划在旧金山开设一家水疗中心，将扫描体验融入“神奇的水疗体验”。招聘信息显示，公司目标是“构建并推出世界上第一台全身超声 CT 扫描仪，最终通过神奇的水疗体验为数十亿人提供安全、快速、高保真的预防性扫描”。这一定位将医疗检查与健康生活方式结合，可能开辟新的消费级健康监测市场。 ## 行业意义与挑战 如果 Midjourney Scanner 能够实现宣称的图像质量，它可能颠覆传统影像学检查：**无辐射、低成本、高频次** 的特点使其适合大规模预防性筛查。但超声技术本身在穿透深度和软组织分辨率上存在局限，能否真正媲美 MRI 仍需验证。此外，医疗设备审批、数据隐私和临床有效性都是必须跨越的障碍。 Midjourney 的这一跨界尝试，展示了 AI 公司从软件向硬件、从娱乐向严肃医疗扩展的潜力。未来，我们或许会看到更多 AI 公司利用其算法优势，重塑传统医疗设备行业。
Google Maps作为全球最受欢迎的导航应用之一，其功能远不止于简单的路线规划。资深科技编辑Elyse Betters Picaro基于近15年的使用经验，整理了一份包含41个隐藏设置和技巧的“大师清单”，旨在帮助用户充分挖掘这款应用的潜力。 ## 为什么需要关注这些隐藏设置？ 许多用户在日常使用中可能只触及了Google Maps的冰山一角。实际上，这款应用内置了数十个可自定义的选项，能够显著提升导航体验、优化电池续航、增强隐私保护，并解锁一些鲜为人知的功能。对于追求效率的“高级用户”来说，掌握这些设置意味着能将一个日常工具转变为强大的个性化助手。 ## 核心功能优化：从基础到进阶 ### 导航体验的个性化定制 * **保持地图朝北**：对于习惯以“上北下南”方式阅读地图的用户，可以在“个人资料图标 > 设置 > 导航”中开启“**保持地图朝北**”选项，解决地图随方向自动旋转带来的方向感混乱问题。 * **路线偏好设置**：为了节省时间、费用，或单纯享受风景，用户可以设置默认避开特定路段。在导航设置中，可以一键开启“**避开收费站**”、“**避开高速公路**”或“**避开轮渡**”的选项。 * **选择节能路线**：在环保和节省燃油成本日益重要的今天，Google Maps提供了“**建议节能路线**”的选项。当预计到达时间相近时，应用会优先推荐燃油效率更高的路线。 ### 隐私与效率的平衡 文章特别提及了如何**在Google街景视图中模糊自家住宅**，并建议用户尽快操作。这凸显了在享受数字化便利的同时，主动管理个人数字足迹的重要性。此外，文中还暗示了通过调整设置来优化应用性能、节省手机电量的可能性，这些都是提升日常使用体验的关键细节。 ## 对AI与智能服务行业的启示 Google Maps的深度定制化功能，反映了当前AI驱动型应用的一个发展趋势：**从提供通用服务，转向支持高度个性化的用户体验**。这背后是机器学习算法对用户习惯的持续学习，以及产品设计对用户控制权的尊重。 * **可解释性与可控性**：将复杂的路线算法（如考虑实时交通、油耗模型）的决策逻辑，通过简单的开关（如“避开收费站”、“节能路线”）暴露给用户，增强了AI服务的透明度和用户的信任感。 * **场景化智能**：这些设置允许用户根据不同场景（如日常通勤、长途旅行、成本控制）快速切换应用行为，体现了AI工具正变得更具情境适应性和实用性。 ## 小结：挖掘工具潜力的价值 这份清单的价值在于，它提醒我们，即使是像Google Maps这样成熟且普及的应用，其全部能力也往往未被充分认知和利用。在AI技术日益渗透日常工具的今天，花时间探索应用的深层设置，不仅是提升个人效率的捷径，也是更好地理解与驾驭我们所用技术的一种方式。对于科技爱好者、频繁出行的商务人士或任何希望从数字工具中获得更多价值的用户而言，深入了解这些“隐藏”功能，无疑能让每一次导航都变得更加得心应手。
如果你被 Google Docs 中不断弹出的“用 Gemini 写作”提示框困扰，这篇文章将提供两种关闭方法。 ### 快速关闭底部 AI 栏 打开 Google Docs 文档，点击顶部菜单栏的 **Gemini**，在下拉菜单中选择 **底部栏偏好设置**，然后关闭底部栏即可。注意：直接点击 AI 框中的“×”只会关闭当前对话，并不会移除 AI 功能。 ### 全局禁用智能功能（推荐） 为避免逐个关闭 AI 功能的麻烦，可以通过 Gmail 全局禁用 Google Workspace 的智能功能： 1. 进入 Gmail 收件箱，点击右上角的 **齿轮图标**（设置）。 2. 选择 **查看所有设置**，向下滚动至 **Google Workspace 智能功能** 部分。 3. 点击 **管理 Workspace 智能功能设置**，关闭 **智能功能** 开关。 此操作会禁用包括 Gemini 提示在内的多项 AI 功能，但不会影响 Gmail 自动分类等基本功能。 ### 注意事项 - 如果只关闭底部 AI 栏，其他 AI 功能（如“帮我写”）可能仍会出现在光标处。 - 全局禁用后，部分协作功能（如智能回复）可能受限。 - Google 可能会在后续更新中调整设置路径，建议定期检查。 总之，根据需求选择局部或全局关闭，即可恢复干净的文档编辑环境。
距离亚马逊Prime Day大促还有一段时间，但智能家居产品的折扣潮已经提前涌来。ZDNET编辑团队近期筛选出6款真正值得入手的亚马逊设备，折扣力度高达68%，覆盖从电视棒到安防摄像头的多种品类。 ### 精选折扣清单 - **Fire TV Stick 4K Select**：仅需 **18美元**（省12美元），即可将普通电视升级为4K流媒体体验。支持Alexa语音遥控，适合追求性价比的家庭。 - **Amazon Smart Plug**：智能插座降至 **13美元**（省12美元），通过语音或App控制传统电器，是入门智能家居的零门槛选择。 - **Ring Outdoor Cam**：户外安防摄像头现价 **40美元**（省40美元），提供1080p高清画质与双向通话，Prime Day前的罕见低价。 - **Blink Video Doorbell + 5-Pack Blink Outdoor 4**：套装价 **115美元**（省245美元），包含可视门铃和5个无线户外摄像头，适合需要全面监控的用户。 - **Amazon Echo Dot Max**：旗舰智能音箱降至 **65美元**（省35美元），音质和智能家居控制能力均属上乘。 ### 为什么现在入手？ Prime Day虽然是年度购物狂欢，但部分产品在预热期反而给出更直接的价格优惠。以Blink套装为例，**省245美元**的幅度已超过历史最低价。ZDNET建议，如果看到心仪设备达到心理价位，不必等待——尤其是库存有限的款式。 这些折扣来自亚马逊官方渠道，且经过ZDNET团队验证。智能家居布局正当时，不妨从这些实用小物开始。
Mozilla 近日为 Firefox for Android 推出了三项新功能，旨在提升浏览体验。首先，**标签页分组**功能允许用户将相关标签页组织成命名且带颜色的组，减少杂乱，方便管理。该功能此前已在桌面版上线，现通过版本 152 登陆移动端，iOS 版本计划于今年晚些时候推出。其次，**设置界面**经过重新设计，采用更简洁的布局，让用户能更快找到所需选项，并发现之前可能忽略的功能。最后，浏览器现在会**显示已拦截的追踪器数量**，让用户更直观地了解隐私保护效果。此外，Mozilla 还预告了未来将推出的功能，包括 VPN 和省电模式。这些更新体现了 Firefox 在移动端持续优化用户体验和隐私保护的承诺。
## 事件始末：从合作到封禁 在Anthropic将最先进的AI模型下架前几天，白宫下令该公司撤销SK Telecom对Claude Mythos的访问权限，理由是这家韩国电信巨头被指与中国存在关联。这一事件迅速发酵，最终导致Anthropic决定完全关闭Mythos和其公开版本Fable 5的访问。 据知情人士透露，特朗普政府此举源于对SK Telecom所谓“中国背景”的担忧。更关键的是，亚马逊随后向白宫报告了其在Fable 5中发现的漏洞——研究人员声称能够绕过部分安全护栏，接触到Mythos强大的网络能力。尽管Anthropic和外部安全专家辩称这些风险并非Claude独有，但多重因素叠加，最终让白宫认定无法信任Anthropic自主管控其最前沿的AI技术。 ## 白宫指令与Anthropic的抉择 上周五，特朗普政府正式要求Anthropic撤销所有外国国民（包括美国境内的移民）对Mythos和Fable 5的访问权限。然而，按国籍限制访问在实施上极为困难，且可能侵犯隐私。权衡之下，Anthropic选择了彻底禁用这些模型。 目前，白宫与Anthropic在经过数日谈判后仍未就恢复模型访问达成一致。Anthropic拒绝置评，白宫与SK Telecom也尚未回应评论请求。 ## 各方回应与争议焦点 《华盛顿邮报》此前报道称，特朗普政府官员对Mythos的接收方包括一家“据信与中国有联系的韩国电信公司”感到震惊，但未点名具体企业。SK Telecom随后向韩国媒体澄清：“外媒匿名消息来源的言论缺乏事实依据，我司与中国并无关联。” 接近Anthropic的人士则强调，公司认为SK Telecom的访问权限与亚马逊发现的漏洞是两起独立事件。值得注意的是，美国政府要求Anthropic限制访问的信函中并未提及亚马逊的漏洞报告。 ## 行业影响与后续展望 这一事件折射出AI技术出口管制与地缘政治博弈的复杂性。Anthropic作为OpenAI的竞争对手，其Claude系列模型一直被视为AI安全领域的标杆。此次风波不仅影响了模型可用性，更可能动摇海外合作伙伴对美方AI技术的信任。 目前，Mythos和Fable 5仍处于离线状态，而白宫与Anthropic之间的僵局短期内难以化解。未来，类似事件或将成为AI行业常态——技术领先者不得不在国家安全、商业利益与全球协作之间走钢丝。
ZDNET 最新实验室大奖颁给了充电速度最快的充电宝。在数百款产品中，这款充电宝以 **最快充满 100%** 的表现脱颖而出。 ## 充电宝的核心：速度至上 如今市面上的充电宝功能五花八门，有的配备多种接口，有的设计轻薄便携，还有的强调安全防护。但 ZDNET 评测认为，**充电速度**才是决定用户体验的关键。毕竟，用户最需要的是在有限时间内快速为设备补充电量。 ## 评测方法 ZDNET 实验室对多款主流充电宝进行了标准化测试，记录从 0% 到 100% 的充电时间。测试环境保持一致，确保结果公平可比。最终，这款获奖产品以显著优势领先。 ## 获奖产品亮点 - **极速充电**：充满电所需时间比其他竞品缩短 30% 以上。 - **兼容性强**：支持主流快充协议，适配手机、平板、笔记本等设备。 - **可靠性高**：经过严格安全测试，具备过充、过放、短路保护。 ## 选购建议 如果你经常外出、需要快速回血，这款充电宝无疑是首选。当然，如果更看重容量或便携性，市面上也有其他优秀选择。但若追求 **“快”**，这款产品是目前的最佳答案。
Amazon SageMaker AI 异步推理服务迎来重要更新：用户现在可以直接在 `InvokeEndpointAsync` API 的请求体中发送推理负载，无需再提前上传数据到 Amazon S3。对于不超过 128,000 字节的负载，这一变化消除了一个完整的网络往返，简化了客户端代码，并降低了异步推理工作负载的操作复杂性。 ## 此前的工作流：两步走，依赖 S3 传统上，使用 SageMaker AI 异步推理需要两个步骤： 1. **上传负载到 S3**：将输入数据（如文本、小图片）上传至指定的 S3 存储桶。 2. **调用端点**：在 `InvokeEndpointAsync` 请求中传入 `InputLocation` 参数，指向 S3 对象 URI。 端点异步处理请求，并将结果写入配置的 S3 输出位置。客户端通过轮询或 SNS 通知获取结果。这种模式适合大负载（如高清图片、音频文件、多 MB 文档），但对于仅需几 KB 输入却需要较长处理时间的场景（例如复杂 NLP 模型或批量推理），强制依赖 S3 增加了不必要的复杂性和延迟。 ## 新功能：内联负载，一步到位 本次更新引入了 `Body` 参数，允许用户将负载直接放在 API 请求体中。关键细节如下： - **最大内联大小**：128,000 字节（原始负载）。 - **互斥性**：`Body` 和 `InputLocation` 参数不能同时使用；若同时传入，API 会返回验证错误。 - **输出行为不变**：推理结果仍写入 S3 输出位置，客户端获取方式不变。 - **端点兼容性**：现有异步端点无需修改模型或容器配置即可支持。 - **错误处理**：大小超限或参数冲突会立即返回同步的 `ValidationError`，方便快速排查。 ## 适用场景与价值 内联负载特别适合以下情况： - **小负载异步推理**：例如文本分类、情感分析、小规模图像识别等，输入数据小但需要秒级到分钟级处理时间。 - **简化客户端逻辑**：无需编写 S3 上传代码，减少依赖和故障点。 - **降低延迟**：省去一次网络往返（S3 上传），对于延迟敏感但实时推理无法满足的场景，提升整体响应速度。 ## 行业分析与展望 在 AI 推理场景中，实时推理与异步推理的边界正逐渐模糊。AWS 此次更新直击异步推理的“小负载痛点”，使得异步推理不再只是大文件的专属选择。结合 SageMaker 的自动扩缩到零能力，开发者可以更灵活地设计成本与延迟兼顾的推理架构。 对于 MLOps 团队而言，内联负载减少了 S3 权限配置和生命周期管理的复杂度，降低了运维负担。同时，128KB 的限制也意味着 AWS 鼓励用户根据负载大小选择最合适的传输方式——小负载走内联，大负载走 S3，两者形成互补。 此外，这一更新也反映了云服务商在推理 API 设计上的趋势：更少的步骤、更低的门槛、更精细的粒度控制。随着边缘计算和微服务架构的普及，类似的内联推理接口可能会成为标准配置。 ## 如何开始 用户无需修改现有端点或模型。只需在调用 `InvokeEndpointAsync` 时，将 `Body` 参数设置为原始字节负载即可。AWS 官方文档提供了详细代码示例。 总的来说，这是一次“小而美”的更新，但对于需要频繁处理小负载异步推理的开发者来说，体验提升是显著的。