随着大语言模型（LLM）自主代理在编码、网页问答等复杂多步骤任务中的普及，其能耗问题日益凸显。最新研究《AgentStop: Terminating Local AI Agents Early to Save Energy in Consumer Devices》提出了一种轻量级效率监控器，通过预测并提前终止低成功率的执行轨迹，在消费级硬件上将无效能耗降低15-20%，且任务性能损失不超过5%。 ## 本地代理的能耗困境 相比云端方案，本地部署LLM代理虽能保护隐私、消除API成本，却面临严重的资源消耗问题。研究团队测量发现，代理工作流（含迭代推理、工具调用和失败重试）的GPU功耗、温度及电池消耗远超单次推理任务。大量计算资源被浪费在注定失败的任务执行上，这成为本地代理落地的核心瓶颈。 ## AgentStop：轻量级“节能监督员” AgentStop的核心思路是**早期终止**——在任务执行过程中实时预测其成功概率，对低概率轨迹果断“喊停”。它仅依赖**token级对数概率**等低成本信号，无需额外模型或复杂计算。实验表明，在网页问答和编码基准测试中，该方法可节省15-20%的无效能耗，同时将任务性能（utility）的下降控制在5%以内，实现了效率与效果的平衡。 ## 行业意义与未来方向 这项研究为**可持续、隐私保护的本地AI代理**提供了实用方案。随着端侧AI（如手机、PC、IoT设备）的兴起，能耗优化将成为关键竞争点。AgentStop的思路可被集成到代理框架中，作为“即插即用”模块。未来工作或需探索更复杂的预测信号（如任务规划结构、环境反馈），以及在异构硬件上的泛化能力。 论文代码与数据已开源，有望推动社区在绿色AI与边缘计算领域的进一步探索。
多智能体大语言模型（LLM）系统在复杂推理任务中展现出潜力，但近期评估表明，这类系统往往不如单模型基线表现。来自《TeamTR: Trust-Region Fine-Tuning for Multi-Agent LLM Coordination》的研究揭示了一个结构性失败模式：在共享上下文团队的顺序微调中，更新一个智能体会改变团队的上下文分布，当后续更新在缓存的轨迹上评估时，这种不匹配会不断累积。研究者将此形式化为**复合占据偏移**（compounding occupancy shift），并证明在陈旧占据（stale-occupancy）评估下，惩罚项随智能体数量呈二次方增长，而中间占据（intermediate-occupancy）评估可将此降低为线性增长。 为解决该问题，论文提出**TeamTR**，一种信任区域框架。该方法在每个组件更新后重新采样轨迹，并对每个智能体施加散度控制，从而获得严格的每更新和每阶段改进下界。实验表明，TeamTR在多个任务上平均超越单智能体和顺序微调基线**7.1%**，有效缓解了协调退化问题，并支持即插即用的组件替换。相关代码已开源。 ### 研究背景与问题 多智能体LLM系统通常采用共享上下文的方式进行顺序微调：先更新一个智能体，再基于其输出更新下一个。然而，这种策略存在根本缺陷——更新后的智能体会改变后续智能体所看到的上下文分布。当使用旧轨迹评估新策略时，评估结果会产生偏差，且这种偏差会随着智能体数量增加而急剧放大。 ### 核心贡献 1. **形式化复合占据偏移**：证明陈旧占据评估的惩罚项为O(N²)，而中间占据评估为O(N)，其中N为智能体数量。 2. **提出TeamTR框架**：通过信任区域约束和轨迹重采样，保证每次更新都有理论上的改进下界。 3. **实验验证**：在多个多智能体推理任务中，TeamTR显著优于现有方法，平均提升7.1%，且能有效防止协调退化。 ### 技术细节 TeamTR的核心思想是**信任区域**（trust-region）与**轨迹重采样**的结合。每次更新一个智能体后，立即用新策略重新生成后续智能体的交互轨迹，避免使用过时的上下文。同时，通过KL散度约束控制每个智能体的更新幅度，防止策略突变导致团队协作崩溃。 ### 实验与意义 在包括数学推理、代码生成等任务上，TeamTR不仅提升了整体性能，还表现出良好的可扩展性——支持在训练后替换单个智能体组件而无需重新训练整个系统。这为构建更鲁棒、可维护的多智能体LLM应用提供了新思路。 该工作已被**ICML 2026**接收，代码已公开。
大型语言模型（LLM）的部署常依赖**后训练量化**来降低推理成本和内存占用，但量化对模型质量的影响远未被充分理解。一项来自IEEE Cloud Summit 2026的研究首次系统性地揭示了量化精度降低与模型偏见涌现之间的**剂量-反应关系**，警告当前行业广泛使用的聚合评估指标可能严重低估量化带来的公平性风险。 ## 研究设计：多模型、多精度、细粒度 研究团队选择了三款指令微调模型——**Qwen2.5-7B**、**Mistral-7B** 和 **Phi-3.5-mini**，在 **BF16 到 3-bit** 共五个精度级别上，利用包含12,148个条目的BBQ偏见基准数据集，进行了总计**911,100次推理**的大规模实验。与以往仅对比全精度与单一量化版本的研究不同，这项研究通过多种精度级别和随机种子，捕捉到了偏见随量化程度加深而**渐进式恶化**的过程。 ## 核心发现：量化“瓦解”对齐 研究最引人注目的结论是：**3-bit量化导致6%至21%原本无偏见的样本产生了新的刻板印象行为**。逻辑回归分析确认了这一现象遵循清晰的剂量-反应模式——量化越极端，新偏见出现的比例越高。同时，模型选择“未知”答案的意愿平均下降了 **17.4%**，这意味着模型在面对模糊或敏感问题时更倾向于给出有偏见的答案而非保持中立。 更令人警惕的是，这些项级别的变化完全被标准质量指标所掩盖。例如，在8-bit量化下，所有模型的**困惑度增加不到0.5%**；即使在4-bit量化下，增加也不超过3%。然而，在4-bit精度时，已有 **2.5%至5.6%** 的样本出现了新偏见。这表明，看似无损的量化压缩可能正在悄无声息地损害模型的安全对齐。 ## 行业启示：评估体系亟待升级 当前业界普遍依赖困惑度、BLEU等聚合指标来衡量量化模型的质量，但这些指标对公平性相关的细微退化**几乎完全失灵**。研究的作者强调，部署前的质量评估必须引入**偏见涌现检测**，特别是针对敏感话题的逐项分析。这不仅是技术问题，更关乎AI伦理与责任——一个在基准测试中表现良好但在量化后悄然产生偏见的模型，可能在客服、医疗建议、招聘筛选等真实场景中造成不可预见的歧视。 ## 小结 这项研究为量化压缩领域敲响了警钟：**压缩效率不能以牺牲对齐为代价**。未来，质量感知型压缩协议（quality-aware compression protocols）需要将偏见测试作为标准环节，而非仅依赖传统的聚合指标。对于开发者和部署者而言，在追求模型轻量化的同时，必须对量化模型进行更严格的公平性审计，确保技术压缩不会导致价值对齐的“瓦解”。
非线性有限元碰撞仿真虽然精确，但计算成本高昂，限制了其在迭代设计优化中的应用。基于图神经网络（GNN）的机器学习代理模型提供了一种更快的替代方案。消息传递GNN广泛应用于网格仿真，其共享的节点和边更新函数在不同图结构间具有较好的泛化能力。然而，非共享的边特定聚合层虽能更精确地捕捉非线性关系，但通常需要固定的图连接，限制了泛化性。 本文提出**Mask-Morph Graph U-Net (MMGUNet)**，一种解决层次化Graph U-Net架构局限性的实用方法。该类架构使用边特定的下采样和上采样层，要求固定的粗网格连接。为在保留此特性的同时改善空间对应关系，MMGUNet在构建跨图边之前，利用特征对齐的重心参数化将粗化后的图层次结构变形至每个输入网格。此外，在监督预训练阶段应用**节点掩码**，随后进行参数高效微调，其中高参数的边特定层被冻结。 该方法在分布内、分布外及跨组件迁移场景下，使用平均欧氏距离和最大侵入百分比误差进行评估。结果表明，与固定粗网格基线相比，粗网格变形提升了测试精度；而掩码监督预训练减少了训练-测试差异，并在迁移过程中提高了数据效率。与外部基线相比，所提模型也实现了更低的预测误差。这些结果展示了实现可重用、数据高效的基于网格的代理模型用于碰撞安全性设计探索的实用途径。
临床AI系统依赖多模态生理数据，但传感器在实际应用中频繁失效。现有基准缺乏对多种融合架构在两类缺失模式下的系统评估。为此，研究者提出了 **MuteBench**——一个覆盖 7 个临床领域、9 个数据集、6 种融合架构和 125,000 个样本的基准，专门评估模型在**模态缺失**（整个通道丢失）和**模态内缺失**（连续时间片段丢失）下的鲁棒性。 ### 核心发现 - **架构族是鲁棒性的最强预测因子**，其影响远超参数量。**通道独立模型**（如处理各模态独立分支的架构）对模态缺失容忍度高，但对模态内缺失敏感，尤其在短序列上。 - **课程式模态丢弃**（训练中逐步增加丢弃率）仅在丢弃率不超过训练最大值时可靠。 - **通道数、序列长度和模态对齐方式**共同决定哪种缺失模式更具威胁。 ### PTB-XL案例研究 在 PTB-XL 心电图数据集上的实验表明，**基于扩散的插补**可改善模态内缺失下的下游分类性能，尤其对**专家路由机制**对损坏输入敏感的那些模型提升最大。不过，该结论在更广泛数据集上的泛化性仍需验证。 ### 实际意义 MuteBench 为从业者提供了具体指导：在选择现有架构时，应优先考虑架构族而非参数量；在训练策略上，课程式模态丢弃需谨慎设置最大丢弃率；在缺失处理上，扩散插补是值得探索的方向。该基准也为设计更鲁棒的多模态融合方法提供了评估框架。
arXiv:2605.15242v1 Announce Type: new Abstract: The reliability of Healthcare Information Systems (HIS) is frequently compromised by human-induced data entry errors, which existing statistical anomaly detection methods fail to distinguish from legitimate clinical extremes. This paper proposes Logic-GNN, a novel neuro-symbolic framework that treats clinical records as a structured ``private language'' governed by latent logical games. By integrating Temporal Graph Neural Networks (TGNN) with Grap
大型语言模型（LLM）的安全对齐往往以牺牲推理能力为代价，这一现象被称为“安全税”（safety tax）。最新研究指出，传统监督微调中使用的离线策略（off-policy）训练是导致这一权衡的重要原因。来自多所机构的研究团队提出了**OPSA（On-Policy Self-Distillation for Safety Alignment）**方法，通过在线策略自蒸馏有效改善了安全与推理的平衡。 ## 安全税的来源 安全对齐通常通过人类标注、外部模型或固定自生成轨迹的安全示例进行监督微调。然而，这些示例并非来自目标模型自身的策略分布，导致**分布不匹配**。研究团队发现，这种离线策略训练是安全税的第二大来源。模型在推理时面对的是自己生成的轨迹，而非训练时看到的固定示例，因此难以泛化。 ## OPSA的核心机制 OPSA让模型生成自己的展开轨迹（rollouts），并从自身的一个冻结教师副本接收密集的逐token KL散度监督。这个教师副本在训练时被赋予一个“特权安全上下文”（privileged safety context），使其能够比学生轨迹更安全。关键创新在于引入了**教师翻转率（teacher flip rate）**指标：衡量特权上下文将不安全响应转换为安全响应的频率。通过这个信号，可以自动搜索能激活模型内在安全推理能力的上下文，而非仅仅诱发表面安全的行为。 ## 实验效果 在两组推理模型家族（R1-Distill和Qwen3）及五个模型规模上，OPSA在相同数据和全参数微调条件下，**显著优于**离线自蒸馏和外部教师蒸馏方法。尤其在小模型上提升明显： - R1-Distill-1.5B：安全评分提升 **+8.85** 点 - Qwen3-0.6B：安全评分提升 **+5.49** 点 这些优势在不同训练集大小和自适应越狱评估中均保持稳定。 ## 机制分析 逐token分析表明，OPSA的更新主要集中在早期的“合规决策token”（compliance-decision tokens）附近。这意味着模型在决定是否服从恶意请求的关键节点上得到了强化，从而在不干扰后续推理过程的前提下提升安全性。这解释了为何OPSA能在保持推理能力的同时增强安全对齐。 ## 行业意义 安全税一直是LLM部署中的核心痛点：过于保守的模型可能拒绝合理请求，而过于开放的模型则易受攻击。OPSA提供了一种无需外部教师或复杂数据收集的轻量级方案，尤其适合资源受限的小模型场景。未来，结合在线策略的自我改进方法可能成为安全对齐的主流方向。
## 从转录组到分子：一种全新的药物设计范式 传统药物研发往往依赖于已知的靶点蛋白三维结构，但许多疾病（如复杂神经退行性疾病或癌症）的靶点结构难以获得，或表型源于多条信号通路的失调。在此背景下，一项来自中科院等机构的研究提出了**转录组药物设计（TBDD）**框架，将药物发现重新定义为**生成式逆问题**：根据期望的转录组状态转变来设计药物分子。 ## 挑战：跨模态鸿沟与数据稀疏性 该研究指出，TBDD本质上是一个**病态问题**——相同的转录组变化可能对应多种分子结构，而生物学与化学之间巨大的“领域鸿沟”以及转录组信号的高稀疏性，使得直接学习映射关系极为困难。现有方法往往忽略这些挑战，导致生成分子在功能一致性上表现欠佳。 ## CURE框架：多分辨率转录组引导扩散模型 为解决上述难题，团队提出了**CURE（Cellular Response Engine）**，一种多分辨率转录组引导的扩散模型。其核心组件是**转录组扰动功能特征提取器（TFE）**，它包含三个关键步骤： 1. **功能导向扰动嵌入**：从药物处理前后的转录组状态中提取与功能相关的特征表示； 2. **跨模态对齐**：将这些生物学特征与化学分子视图（如分子图、SMILES序列）进行对齐，弥合生物-化学鸿沟； 3. **异质性感知聚合**：从噪声转录组数据中提取稳健的状态特异性信号，降低批次效应和个体差异的影响。 ## 实验结果：结构质量与功能一致性双提升 在标准基准测试和严格的**分布外（OOD）协议**下，CURE在分子结构质量（如有效性、新颖性）和功能一致性（如转录组预测匹配度）上均显著优于现有基线模型。此外，研究团队通过一个**零样本基因抑制剂设计任务**验证了其实用价值——模型无需针对特定基因重新训练，即可直接生成能抑制该基因表达的候选分子，展示了表型驱动生成发现的潜力。 ## 行业意义：当AI开始“读”细胞 这项研究标志着AI药物设计从“结构导向”迈向“功能导向”的关键一步。传统基于结构的药物设计（SBDD）受限于靶点结构数据，而转录组数据在公共数据库中大量积累（如LINCS、CMap项目）。CURE框架有望利用这些数据，在靶点未知或通路复杂的情况下加速先导化合物发现。 不过，该研究仍处于理论验证阶段，其生成分子的实际药效和毒性仍需湿实验验证。未来，如何将转录组动态变化与多模态数据（如蛋白质组、代谢组）融合，将是提升模型泛化能力的重要方向。
大语言模型（LLM）的成功很大程度上依赖于海量公开数据，但下一个前沿在于解锁私有数据。近日，一篇发表于 arXiv 的论文提出了一种基于联邦学习的跨域基准，用于评估 LLM 在医疗和金融等高度监管领域中对私有数据的微调效果。 该研究由 Daniel M. Jimenez-Gutierrez 等人完成，利用 **Flower 联邦学习平台**，实现了多个机构在不共享原始数据的情况下联合微调共享 LLM。基准测试涵盖四个闭式问答和分类数据集：**MedQA、MedMCQA、FPB 和 FiQA-SA**，分别代表医疗和金融领域。研究者比较了三种参数高效微调（PEFT）策略——**LoRA、QLoRA 和 IA3**，并在非独立同分布（non-IID）设置下评估其性能。 **核心发现**：联邦微调的性能接近集中式训练，且显著优于单机构孤立学习。从绿色 AI 视角看，**QLoRA 和 IA3** 在精度损失有限的情况下大幅提升了效率，证实了联邦 PEFT 是适应私有数据 LLM 的可行方案。这一工作为打破数据孤岛、推动 LLM 在敏感领域的落地提供了实用路径。
机器学习正越来越多地被用于优化系统性能，例如资源管理和网络模拟。然而，与传统ML任务（如图像分类）不同，网络化系统通常在异构、长期运行且动态变化的环境中运行，其输入条件（如网络负载）和操作目标会随时间或环境变化。现有学习型系统对自适应支持不足，导致模型训练成本高、数据收集量大、系统性能下降且响应缓慢。 **EMA：系统驱动、数据为中心的自适应框架** 在SIGCOMM 2026上发表的论文《EMA: Efficient Model Adaptation for Learning-based Systems》中，研究者提出了**EMA**，这是首个支持学习型系统适应动态环境的模型自适应系统，旨在以最小的操作开销实现高效自适应。EMA采用系统驱动、数据为中心的方法，兼容多种系统和模型设计，并解决两个关键部署挑战： 1. **降低训练成本**：通过引入**状态变换器（state transformers）**，将新环境的输入状态与先前相似状态对齐，使模型能够“热启动”自适应过程，从而减少昂贵的模型训练。 2. **优化数据标注**：数据标注——即收集各种系统决策的真实标签——往往成本高昂且被忽视。EMA通过优先标注高效用数据，并平衡训练与标注成本之间的权衡，显著降低标注开销。 **显著性能提升与成本降低** 在八个代表性学习型系统上的评估显示，EMA能够将自适应成本（如GPU训练时间）降低**14.9%至42.4%**，同时将系统性能（如网络吞吐量）提升**6.9%至31.3%**。这一结果充分证明了EMA在真实环境中的有效性。 **行业背景与意义** 随着AI驱动的系统在数据中心、边缘计算和物联网中广泛部署，环境动态性成为制约系统性能的关键瓶颈。传统的静态模型部署方式无法应对负载波动、硬件异构或目标变化。EMA提供了一种轻量级、系统级的自适应方案，无需重新设计模型即可快速适应新环境，这对于降低运维成本、提升服务质量具有重要意义。 **小结** EMA为学习型系统的自适应问题提供了一种高效、实用的解决方案。通过状态变换和智能数据标注，它在不牺牲性能的前提下大幅降低了自适应开销。未来，该框架有望在更多动态系统中得到应用，推动学习型系统从实验室走向真实部署。
## 背景：视觉监控的“复用”难题 在自动驾驶、机器人等安全关键系统中，运行时监控（Runtime Monitoring）通过摄像头图像推断车辆或行人位置等安全相关量，并验证其是否满足时序逻辑规范。传统方法每换一条规范就要重新训练和校准模型，成本高昂且难以扩展。 ## 核心贡献：语义基与滚动预测监控器 来自亚利桑那州立大学等机构的研究人员提出了一种**可复用监控框架**：只需训练和校准一次，就能为同一目标片段内的任意公式提供有限样本保证，无需针对每条公式重新训练。 **语义基（Semantic Basis）**：论文证明，当规范由有限个时序原子（temporal atoms）的字典生成时，这些原子的鲁棒性得分向量构成了一个**语义基**。任何公式的鲁棒性都可以通过一个由解析树导出的确定性解码器计算得出。更重要的是，该语义基是单调且1-利普希茨的，因此只需一次共形校准（conformal calibration）即可覆盖整个片段，无需联合界（union bound）。 **滚动预测监控器（Rolling Prediction Monitor）**：另一种方案是只预测当前时刻的谓词值，并在线重建历史轨迹。这种方法更容易学习，但在长时域下会变得保守。 ## 实验结果：短长时域各有千秋 在行人过街基准测试中，滚动监控器在短时域下取得了更紧的认证界，而语义基监控器在长时域下**认证界紧度最高可达4倍**。在真实世界的Waymo驾驶数据上，两种监控器均经验证满足了共形覆盖保证。 ## 意义与展望 这项研究为视觉感知下的形式化验证提供了实用工具，尤其适用于自动驾驶场景中规范频繁变动的情况。未来工作可探索更复杂的时序算子、多摄像头融合以及在线自适应校准。
## 从黑箱到可解释：稀疏自编码器如何“翻译”EEG基础模型 脑电图（EEG）基础模型在临床诊断中已取得顶尖表现，但其内部决策机制如同黑箱，严重阻碍了临床信任。近日，来自多所机构的研究团队在预印本中提出了一种基于**TopK稀疏自编码器（SAEs）** 的机械可解释性框架，系统分析了三种架构迥异的EEG Transformer——SleepFM、REVE和LaBraM。 ### 核心方法：稀疏特征提取与临床标签对齐 研究团队首先在三个模型的嵌入层上训练TopK稀疏自编码器，提取出稀疏特征字典。这些特征随后与临床分类体系（包括异常、年龄、性别、用药等标签）进行对齐，以评估特征的**单义性**和**纠缠程度**。通过一种基于字典健康检查的单一超参数流程，该方法可跨架构稳健迁移，无需针对每个模型单独调参。 ### 概念操控揭示三种表征状态 利用**概念操控**技术，研究者定义了目标与脱靶探针区域指标，量化了操控的选择性。结果显示，模型内部概念存在三种状态： - **可选择操控**：可以精准增强或抑制特定概念（如病理慢波）。 - **编码但纠缠**：概念虽被编码，但与其他概念深度耦合，无法独立操控。 - **未编码**：模型根本未表征该概念。 ### 关键发现：临床相关的表征缺陷 该框架暴露了重要的表征问题： - **“破坏球”干预**：某些操控会整体摧毁模型性能，如同在精密仪器中挥舞大锤。 - **临床纠缠**：例如**年龄与病理混淆**——试图抑制年龄特征时，病理特征也同时被破坏，反之亦然。这种纠缠在临床场景中可能造成误导性诊断。 ### 从潜变量到可解释频谱 为连接神经科学背景，团队设计了一种**频谱解码器**，将潜空间中的操控映射回EEG的幅度谱。例如，病理慢波抑制和α频段恢复等干预，现在可以被直接解读为具体的频率变化，为临床医生提供了直观的生理学解释。 ### 意义与展望 这项工作首次对多个EEG基础模型进行了系统性的机械可解释性分析，不仅揭示了模型内部表征的共性缺陷，还提供了诊断和修复这些问题的工具。随着EEG基础模型逐步进入临床部署，此类可解释性框架将成为建立医生信任、保障患者安全的必要基石。未来，将这一方法扩展到更多模型和真实临床数据集，并开发自动化的“模型健康检查”工具，将是重要的研究方向。
arXiv:2605.13932v1 Announce Type: new Abstract: Robust prediction of molecular properties under extreme out-of-distribution (OOD) scenarios is a pivotal bottleneck in AI-driven drug discovery. Current scaffold-splitting protocols fail to obstruct microscopic semantic overlap, predisposing models to shortcut learning and overestimating their true extrapolation capability; meanwhile, conventional domain adaptation paradigms suffer under extreme structural shifts, as blindly aligning heterogeneous
扩散磁共振成像（dMRI）的结构连接组分析长期受困于跨站点、扫描仪和协议带来的采集变异性。传统降维方法将所有变异视为连续，导致采集效应与生物变异混杂。近期混合潜在空间模型尝试结合离散与连续成分，但需手动调节容量。本文提出一种无监督框架，通过**架构退火**（architectural annealing）自适应平衡离散与连续潜在变量，无需手动调参。研究基于**7,416个结构连接组**（年龄2-102岁，13项研究，25种采集参数组合），对比标准VAE、PCA+k-means及损失退火混合模型。结果显示，架构退火在站点识别上取得**ARI=0.53**（p<0.05），显著优于基线。该工作为dMRI数据中分离采集效应与生物变异提供了有效无监督机制，有望提升多中心神经影像研究的可重复性。 ## 背景：连接组分析中的采集变异性挑战 多中心dMRI研究因硬件、序列和协议差异引入系统性变异。传统方法如PCA、VAE将所有变异映射到连续空间，难以区分“真正”的生物差异与采集噪声。混合潜在空间模型（如离散+连续变量）可分别建模类别效应（如站点）与连续效应（如年龄），但离散成分的容量需手动设定，限制了实用性。 ## 方法：架构退火实现自适应平衡 作者提出**无监督混合模型**，核心创新在于**编码器输出退火**：在训练过程中逐步调整编码器输出的“温度”参数，使模型从完全连续表示过渡到离散与连续混合。相比仅通过损失函数退火（如β-VAE），架构退火更直接地控制潜在空间的拓扑结构。模型使用变分自编码器（VAE）框架，离散成分采用Gumbel-Softmax分布，连续成分采用高斯分布。 ## 实验：大规模多中心数据集验证 数据集包含**7,416个结构连接组**，来自**13项研究**，覆盖**25种独特采集参数组合**。参与者年龄2-102岁，包括**5,900名认知正常**、**877名轻度认知障碍（MCI）**和**639名阿尔茨海默病（AD）**患者。评估指标采用**调整兰德指数（ARI）**衡量站点聚类准确率。 ## 结果：显著优于基线方法 架构退火模型在站点识别上达到**ARI=0.53**（p<0.05），优于标准VAE（ARI=0.21）、PCA+k-means（ARI=0.35）及仅损失退火的混合模型（ARI=0.42）。进一步分析显示，离散成分成功捕捉了采集参数（如b值、方向数）的类别差异，而连续成分保留了年龄、疾病状态等生物变异。 ## 意义与展望 该工作为**多中心dMRI标准化**提供了新思路：无需手动标注采集参数，即可无监督分离采集变异。未来可扩展至其他模态（如fMRI），或与纵向研究结合，提升跨站点生物标志物检测的可靠性。
扩散语言模型（Diffusion Language Models）作为自回归模型的一种有前景的替代方案，近年来受到越来越多关注。然而，针对这类模型的后训练方法大多沿用传统的奖励最大化目标。来自一项最新研究（arXiv:2605.13935）的学者指出，这种做法存在一个关键缺陷——他们称之为 **“轨迹锁定”** 。 ### 什么是轨迹锁定？ 简单来说，当模型在采样过程中被奖励信号驱动更新时，概率质量会过度集中到少数几条“成功”的去噪路径上，导致模型在重复采样时无法覆盖其他同样正确的解决方案。这种模式寻求行为虽然能在单次采样中提高奖励，却牺牲了输出的多样性，尤其对需要探索多种解法的数学推理和代码生成任务而言，危害显著。 ### TraFL 的解决方案 为了解决这一问题，研究团队提出了 **TraFL（Trajectory Flow baLancing，轨迹流平衡）** 方法。其核心思想是：不再单纯追求最大化奖励，而是训练策略去逼近一个**奖励倾斜的目标分布**，同时通过一个冻结的参考模型来保持稳定性。 为了实现这一目标，TraFL 引入了两个关键组件： - **扩散兼容的序列级替代目标**：使得轨迹平衡目标能够适用于扩散语言模型的离散序列生成过程。 - **学习的提示相关归一化项**：让模型能够根据不同的输入提示动态调整，提升灵活性。 ### 实验表现：全面超越基线 研究者在数学推理和代码生成多个基准上进行了评估。结果显示，**TraFL 是唯一一种在所有基准-长度设置下均能提升基础模型性能的后训练方法**，并且随着采样预算增加，其优势持续扩大。 更值得注意的是，这些改进具有良好的泛化能力： - 在 **Minerva Math** 数据集上，TraFL 始终保持在基础模型之上。 - 在 **LiveCodeBench** 的每一个难度层级上，TraFL 均取得了最优结果。 ### 行业意义与未来方向 这项研究揭示了一个重要问题：直接套用强化学习中的奖励最大化目标，对于扩散语言模型可能并非最优。TraFL 的轨迹平衡思路为后训练开辟了新方向，兼顾了奖励优化与输出多样性。 当然，该方法在实际部署中是否计算开销过大、能否扩展到更大规模的模型，仍有待进一步验证。不过，对于追求高质量生成同时希望保持探索能力的应用场景——比如自动代码修复、多步推理问答——TraFL 无疑提供了一条值得尝试的路径。
### 核心突破：记忆架构的“双层次”自进化 大语言模型（LLM）智能体在跨会话任务中依赖长期记忆，但现有系统仅让存储内容动态更新，而检索机制（如评分函数、融合策略、答案生成规则）在部署后便固定不变。这一缺陷限制了智能体的持续适应能力。 最新论文《EvolveMem: Self-Evolving Memory Architecture via AutoResearch for LLM Agents》提出了一种**自进化记忆架构**，首次实现记忆存储与检索机制的协同进化。其核心是将完整的检索配置暴露为结构化动作空间，由一个 **LLM驱动的诊断模块** 进行优化。 ### 工作原理：闭环自研（AutoResearch） EvolveMem 的工作流程类似一个自动化研究循环： 1. **诊断**：模块读取每个问题的失败日志，识别根因； 2. **调整**：提出针对性的配置调整方案； 3. **验证**：通过“回退退化”和“停滞探索”双重保护机制，确保进化稳定。 这种设计使系统从极简基线出发，**自动收敛到高效检索策略**，甚至能发现原始动作空间中不存在的全新配置维度。 ### 性能表现：显著超越现有基线 在 **LoCoMo** 基准上，EvolveMem 相对最强基线提升 **25.7%**，相比极简基线提升 **78.0%**；在 **MemBench** 上，相对最强基线提升 **18.9%**。更关键的是，进化后的配置在跨基准迁移时表现出**正向迁移**，而非灾难性遗忘，表明自进化过程捕获了通用检索原理，而非基准特定的启发式规则。 ### 行业意义与未来展望 EvolveMem 打破了记忆系统“存储进化、检索固定”的范式，为构建真正自主的 LLM 智能体提供了新思路。其 **AutoResearch 机制** 有望减少人工调参成本，推动智能体在复杂长程任务中的落地应用。论文代码已开源。 > 对于 AI 从业者而言，这项研究提示我们：**智能体的自适应能力不仅在于“记住更多”，更在于“学会如何检索”**。当记忆系统学会自我优化，智能体的持续学习能力将迈上新台阶。
## 当智能体学会“何时”而非“如何”行动：一种通信高效的强化学习新范式 传统的安全强化学习（Safe RL）通常聚焦于一个问题：**智能体应该做什么**？然而，一篇来自 arXiv 的新论文提出了一个颠覆性的视角：**智能体何时需要行动**？该研究通过将运行时保障（Run-Time Assurance, RTA）与 Lyapunov 安全屏障相结合，证明了单一策略可以同时学习控制输入和通信高效的时序决策。 ### 核心创新：从“什么”到“何时” 论文的核心洞察在于，在已知平衡点附近的稳定控制场景中，智能体无需在每个时间步都执行动作。通过一个基于 Lyapunov 预测的 RTA 层，系统可以在安全时“保持沉默”，仅在必要时才触发策略干预。这种机制不仅减少了控制频率，还通过一个预计算的 LQR 备份控制器提供了比传统约束马尔可夫决策过程（CMDP）更强的安全保证——后者仅能在期望意义上保证安全，而 RTA 提供了逐点（pointwise）的 Lyapunov 安全盾。 ### 实验数据：效率与安全的双赢 研究者在三个经典控制任务上验证了该方法：倒立摆、小车-杆系统和平面四旋翼。结果显示，学习到的策略在平均采样间隔（Mean Inter-sample Interval, MSI）上分别比 Lyapunov 触发的基线提升了 **1.91 倍、1.45 倍和 3.51 倍**。更关键的是，以相同平均速率运行的固定 LQR 控制器在所有三个环境中均不稳定，这证明**自适应时序决策**而非单纯降低平均速率才是实现安全稀疏控制的关键。 ### 跨环境迁移与扩展性 论文的一大亮点是，通过 CARE（Communication-Aware RL with Efficiency）推导出的 Lyapunov 奖励函数可以跨环境直接迁移，无需重新设计。一个单一权重参数 \( w_c \) 即可控制稳定性与通信开销之间的权衡。消融实验表明，RTA 盾不可或缺——移除后 MSI 下降了 **1.27 至 1.84 倍**，且状态范数显著恶化。 此外，研究者还提出了一个偏好条件扩展（preference-conditioned extension），只需 **2/11** 的训练计算量即可从单个模型恢复完整的权衡前沿。在 12 维状态的三维四旋翼案例研究中，该框架成功扩展至高维系统，而经典 STC（Self-Triggered Control）在此类场景下已不可行。对于 \(\pm30\%\) 的质量变化和外部扰动，系统表现出优雅的退化特性——RTA 层吸收了学习策略无法处理的部分。 ### 行业意义与未来方向 这项工作对边缘计算、机器人部署和物联网场景具有重要启示。在通信带宽受限或能量预算严格的环境中，智能体无需持续与控制器通信，而是“按需”行动，这将大幅降低能耗和延迟。论文同时指出，该结果在离散和连续域中均与算法无关（通过 SAC 实验验证），意味着其核心思想可以嵌入到各种主流 RL 框架中。 未来，研究者计划探索更复杂的非线性系统以及多智能体协同场景下的“何时行动”问题。
多模态图学习（MGL）近年来备受关注，它通过整合文本、图像、结构等多种模态信息，为社交网络、推荐系统等应用提供了强大的建模能力。然而，现实中的图数据往往分散在不同机构（如医院、银行）中，出于隐私和合规限制无法直接共享，且各参与方拥有的模态常常不完整——有的节点只有文本，有的只有图像。这种“数据孤岛”与“模态缺失”并存的问题，对联邦学习框架下的鲁棒性提出了严峻挑战。 现有方法存在明显短板：集中式MGL方法虽能处理缺失模态，但无法适应联邦场景中知识共享与泛化的需求；而联邦MGL方法虽已成熟，却主要针对非图数据，难以直接迁移到图结构上。一个直观的解决方案是采用“客户端补全+服务端聚合”的两阶段流水线：客户端先利用本地补全模型恢复缺失模态，服务端再聚合各客户端的生成器与骨干网络参数。但这一思路面临两大核心难题： 1. **拓扑隔离下的局部补全**：客户端仅能基于本地子图进行模态生成，缺乏全局语义信息，导致补全质量低下。 2. **可靠性失衡的全局聚合**：不同客户端拥有的模态种类和补全可靠性差异巨大，若平等对待所有更新，会引入大量噪声。 针对上述问题，来自北京理工大学等机构的研究者提出了 **FedMPO** 框架。该框架包含三项关键技术： - **拓扑感知的跨模态生成**：利用图结构上下文（如邻居节点的多模态特征）来恢复缺失信息，使补全过程感知全局拓扑关系。 - **缺失感知的专家路由**：在本地引入轻量级路由机制，自动过滤掉补全过程中产生的不可靠信号，保留高置信度的特征。 - **可靠性感知的聚合**：在服务端根据各客户端生成器的恢复质量动态降低不可靠更新的权重，避免低质量更新污染全局模型。 实验在 **6个数据集、3类任务**（节点分类、链接预测等）上展开。结果显示，FedMPO 在 **高缺失率**（缺失模态比例高）和 **非独立同分布**（各客户端数据分布差异大）的场景下，性能相比基线方法分别提升 **4.10%** 和 **5.65%**，且对缺失模态的鲁棒性显著优于现有方法。 这一工作为联邦图学习在多模态场景下的实际落地提供了新思路。未来，随着边缘设备算力的提升与隐私法规的趋严，类似 FedMPO 这种兼顾隐私、异构性与鲁棒性的方法，将有望在医疗影像分析、跨域推荐和智慧城市等真实场景中发挥关键作用。
## 研究背景：当KAN遇上差分隐私 Kolmogorov-Arnold网络（KAN）作为近年来兴起的新型神经网络架构，因其在可解释性和参数效率上的潜力受到广泛关注。然而，其理论分析大多停留在理想化的全批量梯度下降（GD）和独立噪声差分隐私场景，与实际训练中常用的**小批量随机梯度下降（SGD）**以及能更好平衡隐私与效用的**相关噪声机制**存在差距。 ## 核心贡献：首个基于小批量SGD的KAN泛化界 来自多家机构的研究人员联合发表论文，首次为**使用梯度裁剪的小批量SGD训练的KAN网络建立了群体风险界**。该工作覆盖了非私有SGD和差分隐私SGD（DP-SGD）两种场景，其中DP-SGD引入了高斯扰动，并考虑了从独立噪声到时间相关噪声的插值。 这标志着KAN理论向实践迈出了关键两步： - **训练方式**：采用现代网络的标准方案——小批量SGD，而非全批量梯度下降； - **噪声机制**：相关噪声机制在实验中已被证明能比独立噪声带来更优的隐私-效用权衡。 ## 技术难点与创新 该研究在技术上颇具挑战。**时间相关性破坏了标准一步SGD论证中的条件中心结构**，而投影步骤又阻碍了相关扰动的精确抵消。研究团队提出了三项关键技术创新： 1. **辅助无投影动力学**：通过引入一个不包含投影操作的辅助迭代过程，绕开投影带来的分析困难； 2. **移位迭代**：构造一个吸收了当前噪声扰动的移位变量，使得相关噪声的影响可以被有效追踪； 3. **高概率自举证明**：通过自举方法以高概率保证投影步骤在大部分时间内处于非激活状态，从而简化分析。 ## 理论价值与行业意义 将上述优化分析与基于稳定性的泛化论证相结合，最终得到了群体风险界。据作者称，这是**首个在凸学习之外（特别是针对神经网络）对DP训练的相关噪声机制进行优化和群体风险分析的工作**。 这一成果不仅深化了我们对KAN网络训练过程的理论理解，也为在实际部署中更高效地使用差分隐私技术提供了理论支撑。**当企业或研究机构需要在敏感数据上训练KAN模型时，可以更有信心地采用相关噪声DP-SGD，因为它现在有了严格的泛化保证。** ## 小结 这项研究填补了KAN网络在差分隐私训练理论上的空白，将分析从理想化的全批量独立噪声场景推进到更实际的小批量相关噪声场景。其技术路线——通过辅助动力学和移位迭代处理时间相关性——也为其他非凸模型的隐私分析提供了可借鉴的框架。
## 研究背景：稀疏奖励下的训练困境 当前，大型语言模型（LLM）在预训练后通常使用**稀疏验证器奖励**进行后训练。这种奖励机制仅能判断采样轨迹是否成功，却无法提供推理过程在何处成功或失败的细粒度指导。例如，在数学推理中，模型可能因中间步骤出错而最终失败，但稀疏奖励仅给出“失败”的二元信号，难以定位具体错误位置。 ## 现有方法局限：孤立轨迹的局限性 **同策略蒸馏（On-Policy Distillation, OPD）** 通过训练学生模型生成的轨迹来提供更密集的令牌级监督，从而缓解上述问题。然而，现有OPD方法通常独立处理每个采样轨迹，忽略了同一提示下其他尝试所蕴含的丰富信息。这种“孤立蒸馏”方式浪费了多轨迹间的对比信息，限制了训练效率。 ## MOPD框架：同侪条件蒸馏的创新 针对上述局限，研究团队提出**多轨迹同策略蒸馏（Multi-Rollout On-Policy Distillation, MOPD）**——一种基于同侪条件的蒸馏框架。其核心思想是：利用学生模型自身的局部采样组（即同一提示下的多次尝试）构建信息更丰富的教师信号。 MOPD将教师信号条件化于**同侪的成功与失败轨迹**： - **成功轨迹**提供有效推理模式的正向证据； - **失败轨迹**则提供结构化的负向证据，指出应避免的常见错误。 研究探索了两种同侪上下文构建方式： 1. **正向同侪模仿**：仅基于成功轨迹进行模仿学习； 2. **对比性成功-失败条件化**：同时利用成功与失败轨迹进行对比学习。 ## 实验验证：多领域性能提升 在**竞赛编程、数学推理、科学问答和工具使用**等基准测试上，MOPD一致优于标准同策略基线方法。进一步的教师信号分析表明，**混合成功-失败上下文**能使教师分数与验证器奖励更好地对齐，表明性能提升源于更忠实、实例自适应的监督信号。 ## 结论与启示 MOPD揭示了一个关键洞察：**有效的同策略蒸馏应利用学生模型的多轨迹试错行为，而非将轨迹视为孤立样本**。这一发现为LLM后训练提供了新思路——通过挖掘同组轨迹间的对比信息，可以在不增加额外外部数据的情况下显著提升训练效果。未来，该框架有望扩展到更多复杂推理任务，并与强化学习等范式结合。