基于令牌的时间序列大语言模型（TS-LLMs）在处理时间序列分析和推理任务上展现出潜力。然而，现有研究普遍忽视了时间序列令牌固有的连续性和有序性，这严重限制了模型性能。最新研究《Continuity and Ordinality Matter: Constraining Time Series Tokens for Effective Time Series Analysis with Large Language Models》提出了 **COM（Continuity and Ordinality Matter）** 策略，通过在初始化和训练阶段引入几何约束，强制保留令牌的连续性和有序性。实验表明，COM 在多个时间序列分析基准上一致提升了基于令牌的 TS-LLM 性能，取得了具有竞争力的结果和强泛化能力。该工作代码已开源。 ## 背景：时序令牌的“软肋” 时间序列数据（如股票价格、传感器读数）本质上是连续且有序的：相邻时间点数值变化平滑，且顺序不可颠倒。当将时间序列分割为令牌（token）输入大语言模型时，传统做法往往将每个令牌视为独立离散符号，忽略了相邻令牌间的数值渐变关系以及时间顺序。这好比把一首旋律拆成一个个孤立的音符，却丢失了音高变化和节拍顺序——模型自然难以“听懂”完整曲目。 ## COM 策略：几何约束注入连续性与有序性 研究团队提出的 COM 策略，核心思想是在令牌嵌入（embedding）中显式编码连续性和有序性。具体而言，COM 在嵌入空间中施加几何约束： - **连续性约束**：鼓励相邻时间点的令牌嵌入在空间中保持相近距离，反映数值的平滑变化。 - **有序性约束**：强制令牌嵌入的排列顺序与时间顺序一致，避免模型混淆前后关系。 这些约束同时作用于模型初始化和训练阶段。初始化时，嵌入被预设为满足连续有序的几何结构；训练过程中，通过正则化项持续约束嵌入更新，防止模型“遗忘”这些关键属性。 ## 效果：全面超越基线，泛化性强 在多个时间序列分析基准上（包括分类、回归、预测等任务），COM 策略一致提升了基于令牌的 TS-LLM 性能。与未加约束的基线相比，COM 不仅提高了准确率，还展现出更强的跨数据集泛化能力。这意味着模型并非“死记硬背”特定模式，而是真正学会了利用时序的连续有序特性进行推理。 ## 行业意义：打通 LLM 与时序分析的“任督二脉” 当前，将大语言模型用于非文本数据（如时间序列、图表、代码）是 AI 研究的热点。COM 策略提供了一个轻量级但有效的改进方向：**与其设计复杂的模型架构，不如在输入表示层注入领域知识**。这启示我们，未来 TS-LLM 的进步可能更多来自对数据本质属性的深刻理解，而非单纯堆叠参数。 此外，COM 的开源释放了可复现的基准，有助于社区快速验证和迭代。对于金融、工业监控、医疗等依赖时序数据的行业，这一工作有望提升 AI 系统在异常检测、趋势预测等场景下的可靠性与可解释性。
时间序列数据生成是AI领域的一个经典难题，真实世界信号往往包含多模态模式和多尺度动力学（如振荡和高频变化）。尽管流匹配（Flow Matching, FM）作为扩散模型的高效替代方案备受关注，但现有实现大多依赖单一的全局向量场估计器，其有限容量难以捕捉异构时间分布中不同分支的独特动态——当不同模式经过相似的流状态时，需要不相容的条件速度，而标准ℓ2速度匹配训练易导致估计器过度平滑，造成频谱失真和模式覆盖不足。 来自浙江大学等机构的研究团队在最新论文中提出 **PrismFlow**，创新性地引入Koopman启发的动力学专家模块。该方法的核心思想是：每个专家在潜空间中学习残差校正，利用线性过渡近似局部非线性时间演化。训练时采用**置信度感知的胜者全取（Winner-Take-All, WTA）目标**，仅更新与当前样本最匹配的专家，同时屏蔽其他专家的梯度，从而鼓励专家专门化。在采样阶段，所选专家为全局传输场添加残差动力学校正，既保持FM的稳定性，又能恢复精细的高频时间结构。 实验表明，PrismFlow在多个基准上显著缓解了标准FM的频谱收缩问题，取得最先进性能：**Context-FID提升15.6%，判别分数（Discriminative Score）改善38.6%**。此外，该方法在低数据场景下依然鲁棒，并能有效支持预测和缺失值填充任务。 ## 技术亮点：从全局平滑到局部专精 传统FM的单一估计器类似于“一刀切”方案，对不同时间尺度的动态一视同仁，导致高频成分被平均化。PrismFlow则通过多个专家并行学习残差，每个专家专注特定动态模式。Koopman理论的引入使其能在潜空间用线性动力学近似非线性演化，既降低学习难度，又保留表达力。WTA训练策略则确保专家不相互干扰，形成“分而治之”的效果。 ## 实际意义与展望 时间序列生成在金融、医疗、工业物联网等领域有广泛应用，高频细节的保真度直接影响下游任务性能。PrismFlow的方法论启示在于：**与其增加模型容量，不如设计更精细的学习架构**。未来，该团队计划探索更高效的专家组合机制，并尝试将残差动力学推广到其他生成范式。
## 核心发现：物理几何结构是世界模型语义表征的组织原则 一篇来自 arXiv 的新论文（arXiv:2605.28865）揭示了一个引人注目的现象：基于 VAE 的世界模型在完全没有语言监督的情况下，仅通过随机具身探索，其潜在空间就能自发形成与物理世界几何结构高度一致的语义表征。 ### 实验设计：随机探索 + 表征评估 研究者训练了一个 VAE 模型，使其在一个模拟物理环境中执行随机动作（如移动、旋转），不提供任何语言标签或任务目标。随后，通过两个关键指标评估潜在空间的质量： - **方向准确性**：潜在空间中方向编码与真实物理方向的一致性。 - **位置 RSA（表征相似性分析）**：潜在空间中位置关系的保真度。 ### 关键数据：语义结构显著超越随机基线 - **方向准确性**：训练后的模型达到 **0.677±0.029**，而随机初始化的编码器仅为 **0.547**。 - **位置 RSA**：训练后的模型达到 **0.192±0.047**，是随机编码器（0.029）的 **6.6 倍**。 这表明，训练过程确实诱导了超越 CNN 归纳偏置的真正结构组织。 ### 共享驱动机制：预测性能与语义对齐共同进化 通过追踪 20 个时间节点的检查点，研究发现预测性能（未来帧预测）和语义对齐（几何结构保真度）呈现显著的正相关（Spearman r=-0.61, p=0.004）。这支持了“共享驱动”假说：两者可能源于同一底层机制——物理世界几何结构的有效编码。 ### 双敲除实验：KL 正则化的关键作用 为验证上述假说，研究者进行了“双敲除”实验： - **标准 KL 正则化（beta=0.1）**：强制编码器远离几何结构，结果预测性能和语义对齐在 **50,000 步** 后同时崩溃至接近随机水平。 - **降低 beta 至 0.001**：恢复几何访问，两种能力同步回升。 这直接证实了物理世界几何结构是表征组织的基本原则，而 KL 正则化强度是控制该结构是否被保留的关键超参数。 ### 行业启示：迈向语义锚定的具身智能 该研究为无监督学习中的表征涌现提供了新的解释：**物理交互本身足以构建语义空间**，无需语言或任务标签。这一发现对设计更具泛化能力的具身智能体具有重要意义——未来模型可能通过纯粹的物理探索，自主发展出对空间、方向、位置等概念的理解，从而在未见环境中实现更可靠的导航与操作。 论文链接：arXiv:2605.28865
## 研究背景：不完美信息博弈的挑战 在人工智能领域，不完美信息博弈（如扑克、麻将等）一直是检验智能体在隐藏信息、稀疏奖励和非平稳对手环境中决策能力的试金石。这类问题不仅考验模型的策略学习能力，还涉及对不确定性的处理和对长期收益的规划。 ## 研究设计：以“大老二”为试验床 一项新近发表于 arXiv 的研究（arXiv:2605.28863）将目光投向了 **“大老二”（Big 2）**——一款四人参与的不完美信息纸牌游戏。研究者构建了一套**自我对弈（self-play）强化学习框架**，在统一的环境、输入表示、训练预算和评估协议下，系统比较了策略梯度方法与价值近似方法的性能差异。 ## 核心发现：PPO 脱颖而出 实验结果显示，**PPO（近端策略优化）** 在对抗随机对手、贪心对手和基于启发式的对手时，表现均优于 **Monte Carlo Q 近似**、**SARSA** 和 **Q-learning**。这一结果并不令人意外——PPO 在平衡探索与利用、稳定训练过程方面具有天然优势，尤其适合动作空间大、奖励延迟的多智能体场景。 ## 关键改进：熵正则化与自我对弈课程 研究进一步揭示了两项重要改进： - **适度的熵正则化**能显著提升 PPO 的表现。它通过防止策略变得过于确定性，保留了必要的探索能力，避免智能体陷入局部最优。 - **当前策略自我对弈（current-policy self-play）** 比**检查点自我对弈（checkpoint self-play）** 或**固定对手训练**更有效。在有限训练预算下，与当前版本的自己对抗能提供更“即时”的课程，迫使智能体不断适应更强的对手，从而加速策略进化。 ## 意义与展望 这项研究的意义在于，它验证了 **“大老二”作为不完美信息、多人交互、延迟奖励和可变动作集场景的受控实验平台**的可行性。相比于德州扑克等经典博弈，“大老二”的规则更复杂、状态空间更大，且需要同时处理多玩家交互，对深度强化学习算法提出了更全面的挑战。 未来，该框架可进一步扩展至更复杂的多人博弈、不完全信息下的协作与竞争场景，甚至为现实世界中的多智能体决策（如自动驾驶、金融交易）提供方法论参考。
## 研究背景与核心问题 大语言模型（LLM）正被越来越多地应用于金融交易决策，但其行为是否可靠、何时可能失败，仍缺乏系统性的诊断工具。一篇发表于arXiv的论文（arXiv:2605.28850）通过构建**可审计的交易代理测试平台TradeArena**，研究了LLM代理在压力市场下的行为漂移与表征动态，并提出了一种基于表征签名的**预失效检测方法**。 ## 主要发现：表征签名揭示“预失效”信号 研究团队利用TradeArena内置的风险报告、执行模拟、记忆与可回放轨迹，分析了LLM代理在正常状态与市场下跌（drawdown）前的表征变化。关键发现包括： - **规划嵌入偏移**：在失败发生前，代理的规划层嵌入会显著偏离正常状态的中心点。 - **表征流形收缩**：通过流形诊断发现，代理的有效秩（effective rank）在失效前出现收缩，表明表征多样性降低。 - **融合表征区分度高**：将规划与风险表征融合后，能清晰区分正常状态与预下跌状态。 为验证结果的稳健性，研究者使用了80个滚动失效锚点（跨越8条LLM轨迹），并采用哈希、LSA、Transformer及白盒隐藏状态探针等多种嵌入方法，证实收缩现象普遍存在。 ## 关键实验：压力测试与消融分析 论文进一步设计了多项压力测试： - **去除思维链（CoT）**：当移除推理步骤后，规划层的表征收缩消失，而意图空间的收缩仍然存在。 - **词汇多样性**：失效前后词汇多样性并未明显下降，说明语义层面未出现“复读机”现象。 - **噪声鲁棒性**：在OHLCV数据噪声和虚假审计报告干扰下，融合表征签名仍保持信息量。 这些实验表明，**表征收缩并非由简单词汇重复引起，而是与推理过程的结构性退化相关**。 ## 风险反馈：外在对齐信号而非万能药 研究还发现，结构化风险报告可以作为一种**无需微调的外部对齐信号**——但效果因模型而异： - 真实审计反馈能改善部分模型的校准性能，另一些模型则在回报和回撤上受益。 - **隐藏反馈或安慰剂反馈**在短期内可能产生更高收益，但其对齐诊断指标较弱，暗示潜在的“虚假安全”。 ## 相关性盲点：LLM为何忽视资产耦合 在面向51只股票的日内交易实验中，论文揭示了一个值得警惕的现象：**LLM代理倾向于集中持仓于相关性高的资产组合**，而风险层会反复削减这些头寸。相比之下，滚动Markowitz基准能够更好地捕捉协方差结构。这表明，LLM在推理时可能低估了资产间的耦合风险，形成了“相关性盲点”。 ## 结论与启示 作者明确指出，本研究旨在提供**可审计的诊断工具**，而非盈利策略。TradeArena平台和表征签名方法为评估LLM金融推理的可靠性提供了新视角：当表征开始收缩、规划嵌入偏移时，便是代理可能“脱轨”的预警信号。 对于AI安全与金融科技的交叉领域，这项工作提示我们：**仅仅关注模型输出结果是不够的，内部表征的动态变化同样值得监控**。未来，类似的“表征健康检查”或将被集成到自动化交易系统的风控模块中。
## 研究背景：模型编辑的“黑箱”问题 大型语言模型的知识编辑方法，如 **ROME** 和 **MEMIT**，通过修改 Transformer 中的 MLP 权重来更新事实关联。然而，现有评估主要关注输出行为，对内部机制的理解仍显不足。 ## 核心发现：编辑依赖共同的权重子集 来自慕尼黑大学和代尔夫特理工大学的研究团队发现，尽管每次编辑会改变不同的权重，但 ROME 和 MEMIT 实际上都作用于一个**关键权重子集**。为了隔离这个子集，他们训练了一个**紧凑的二进制掩码**，能够逆转编辑效果。实验显示，该掩码在训练集上可逆转 **80%** 的编辑，在测试集上超过 **70%**，证实了不同编辑共享共同的功能结构。 ## 机制分析：抑制而非覆盖 进一步分析表明，掩码通过**消除后层中的过度注意力**来逆转编辑。更关键的是，在编辑过程中注入该掩码，会使编辑成功率从 **98% 骤降至 38%**，证明该机制对编辑成功不可或缺。这一发现揭示了 ROME 和 MEMIT 的编辑本质是**抑制原有知识而非覆盖**，解释了为何这类方法无法将更改传播到相关事实。 ## 意义与应用 该研究识别的**共同功能子空间**为检测和防御不当编辑提供了新途径。论文已被 **ACL 2026 Findings** 接收，为模型可解释性和安全性研究打开了新视角。 ## 小结 这项研究首次系统性地揭示了知识编辑的隐藏机制，不仅深化了我们对模型内部运作的理解，也为开发更可靠的编辑方法奠定了基础。
arXiv:2605.28862v1 Announce Type: new Abstract: Drug discovery is a lengthy and resource-intensive process composed of multiple stages. Among these stages, lead optimization plays a critical role in transforming early hit compounds into viable drug candidates. This stage requires improving ADMET-related properties through subtle structural refinement while preserving key molecular substructures responsible for binding affinity to disease targets. Recent advances in artificial intelligence have s
大型语言模型（LLM）在微调时经常遭遇灾难性遗忘，即学习新任务的同时丢失先前掌握的能力。近期研究表明，强化学习（RL）比监督微调（SFT）能更有效地保留原有能力，原因在于策略梯度更新更贴近基础策略。来自多所机构的研究人员将这一行为层面的解释深入到机制层面，探究RL的优势是否源于对内部计算回路的更强保护。 ## 关键发现：回路保留与任务适应的权衡 研究团队引入 **差异回路脆弱性**（differential circuit vulnerability）这一指标，以注意力头为粒度，衡量微调对计算回路的破坏程度。他们在 **Qwen2.5-3B-Instruct** 模型上，针对科学问答任务分别应用RL和SFT进行适配，发现了清晰的机制权衡： - **SFT** 能更快适应目标任务，但代价是显著的回路破坏和先前能力的遗忘。 - **RL** 则保留了更大比例的基础回路，尽管任务适应速度较慢。 ## 为何RL更鲁棒？ 这一发现暗示，回路的保留程度可能是RL对灾难性遗忘更具鲁棒性的关键解释。与SFT直接拟合目标分布不同，RL通过奖励信号引导探索，在优化过程中更接近原始策略，从而减少了内部计算结构的剧烈重组。 ## 行业意义与未来方向 该工作为理解微调策略的底层机制提供了新视角，也为开发更高效的持续学习方法指明了方向。未来，研究者或可设计同时兼顾任务适应速度与回路保留的混合训练方案，或利用回路脆弱性指标作为微调过程中的监测信号，在性能与稳定性之间取得更好平衡。 论文代码已开源，感兴趣的读者可访问 arXiv 获取更多细节。
## 研究背景：从离散到连续的时序建模进化 传统的循环神经网络（RNN）和长短期记忆网络（LSTM）基于离散时间步长建模，在处理现实世界中**连续变化的物理过程**时存在天然局限。液态神经网络（LNN），特别是**闭式连续时间（CfC）网络**，通过将隐藏状态演化建模为连续微分方程，提供了新的解决方案。 ## 实验设计：四类时序模态 + 压力测试 该研究在四个截然不同的时序模态上进行了全面基准测试： - **神经形态事件数据**（N-MNIST）：模拟生物视觉脉冲信号 - **笔画序列数据**（QuickDraw）：捕捉手绘轨迹的动态特征 - **视觉手写识别**（IAM）：处理连续书写的时间序列 - **生理时间序列**（PhysioNet Sepsis-3）：临床监护数据，用于败血症早期预警 此外，研究者还引入**时间维度随机丢弃**（temporal dropout）作为压力测试，模拟数据稀疏和缺失场景，以评估模型的鲁棒性。 ## 核心发现：LNN 在参数效率与鲁棒性上双赢 实验结果显示，**液态神经网络在参数效率上显著优于 LSTM**——用更少的参数即可达到同等或更优的性能。更关键的是，在**原生时序领域**（如神经形态事件和笔画数据）以及**临床环境**（生理时间序列）中，LNN 表现出**明显更高的鲁棒性**，尤其是在面对数据稀疏和缺失时，其性能下降幅度远小于 LSTM。 ## 临床意义：从理论到实践的桥梁 该研究的临床价值尤为突出。在败血症早期预警等任务中，真实世界数据常因传感器故障、记录中断等原因出现缺失。LNN 的连续时间建模特性使其天然能处理**不规则采样**和**缺失数据**，而无需复杂的插值预处理。这意味着 LNN 有望成为医疗 AI 中更可靠的选择，尤其适用于物联网健康监测、重症监护等实时场景。 ## 延伸价值：理论溯源与可复现性 论文不仅提供了全面的实验对比，还补充了 LNN 的理论谱系和相关数据集背景，并附有**详细附录**，公开了完整实现和实验设置。这为后续研究者复现结果、开展进一步探索提供了坚实基础。 ## 小结 这项研究通过多模态、跨领域的系统评估，实证了液态神经网络在**参数效率、鲁棒性**和**临床适用性**方面的优势。随着边缘计算和医疗 AI 对实时、可靠时序模型的需求日益增长，LNN 或将成为 LSTM 的有力替代者，推动时序深度学习从“离散步长”走向“连续建模”的新范式。
几何深度学习（Geometric Deep Learning）通过数据域的对称性来组织神经架构，而对称群的选择则构成了决定模型可学习表征的几何先验。在这一框架下，一篇新论文《Metric-Aware PCA as a Linear Instance of Geometric Deep Learning》将经典的**主成分分析（PCA）** 方法推广为**度量感知PCA（MAPCA）**，并系统论证了它如何成为几何深度学习的一个线性实例。 ## MAPCA的核心思想 传统的PCA通过协方差矩阵的特征分解寻找方差最大的方向，而MAPCA则引入一个**正定度量矩阵**来参数化PCA过程。这个度量矩阵扮演了几何先验的角色，它所保持的正交群即为诱导出的对称群。MAPCA的解在该群作用下是等变的（equivariant），其谱（特征值）则是不变的（invariant）。论文指出，MAPCA的定义约束正是等变网络中Schur型权重约束的线性类比。 ## 与几何深度学习的六轴对应 作者构建了一个精确的“词典”，从六个维度——域、对称群、等变性、不变性、架构基元和几何先验——将MAPCA与几何深度学习一一对应。这使得MAPCA不再只是一个降维工具，而是被纳入统一的几何深度学习理论体系中。 ## 关键理论结果：不变PCA的唯一性 论文的技术核心是一个**唯一性定理**：在MAPCA家族中，**不变PCA（IPCA）** 是唯一一种由数据衍生的线性度量，它在任意对角缩放变换下保持等变，并投影到该作用的固定点集上。在归一化条件下，这一准则等价于精确形式的方差最大化准则。IPCA对应于度量矩阵为对角矩阵的特殊情况，从而连接了经典PCA和输出白化。 ## 通向更广阔领域的桥梁 论文最后提出了三个扩展方向： - **核PCA**作为MAPCA的非线性扩展； - **谱图方法**可视为图上的MAPCA； - **深度MAPCA**构造则将该定位推广到深度等变网络中。 这些桥梁表明，MAPCA不仅为理解传统方法提供了新视角，也为设计新的几何深度学习模型奠定了基础。 ## 小结 这篇工作从几何深度学习的核心原则出发，重新审视了PCA这一经典算法，揭示了其内在的对称性结构。它为研究者提供了一种统一的语言，将线性降维技术与现代等变网络联系起来，对于理解几何先验在机器学习中的作用具有理论价值。
多模态学习（Multimodal Learning）旨在融合文本、图像、音频等多种数据形态，但其长期面临计算开销大、模态冗余、数据缺失等挑战。近年来，混合专家模型（Mixture-of-Experts, MoE）凭借其稀疏激活、模块化设计等特性，逐渐成为解决这些难题的有力框架。一篇被 **IJCAI 2026** 接受的综述论文（arXiv:2605.27431）首次系统性地回答了核心问题：**MoE 究竟如何有效解决多模态学习中的关键挑战？** ## 从三个角色理解 MoE 的价值 论文将 MoE 在多模态学习中的作用归纳为三个核心维度： ### 1. 高效的多模态引擎 MoE 通过“稀疏激活”机制——即每次推理只调用部分专家——将计算成本与参数规模解耦。这使得模型在参数激增的同时，推理速度保持可控，并能通过选择性专家激活减少模态间的冗余计算，实现真正的可扩展多模态建模。 ### 2. 多模态表征学习器 不同模态往往需要不同的特征提取方式。MoE 天然支持多个专家并行学习，每个专家可专注于某一模态或子任务，最终通过集成互补的“多意见”知识，提升模态对齐与交互表征的质量，从而改善跨模态理解效果。 ### 3. 灵活的多模态适配器 真实场景中常出现模态不平衡（如某模态数据量远大于其他）或模态缺失（如仅有文本无图像）。MoE 的模块化架构使其能动态调整专家参与度，针对不完美数据场景提供鲁棒的适配机制，这是传统端到端融合方法难以做到的。 ## 尚待攻克的研究缺口 尽管 MoE 在多模态领域已取得显著进展，论文也指出了若干关键空白： - **可解释路由**：当前专家选择（routing）机制多为黑箱，缺乏对决策逻辑的透明解读； - **专家间通信**：专家独立工作，缺乏有效的知识共享与协作； - **模态深度融合**：现有方法多停留在浅层融合，深层次交互仍需突破； - **终身多模态学习**：模型如何在不遗忘旧知识的前提下持续吸收新模态或新任务。 ## 行业意义与未来方向 这篇综述为研究者提供了清晰的路线图：MoE 不仅是提升模型容量的“大模型加速器”，更是解决多模态落地痛点的系统方案。随着多模态大模型（如 GPT-4V、Gemini）的普及，如何高效、鲁棒地融合异构数据已成为关键瓶颈。论文呼吁未来工作聚焦于**可解释、可持续的多模态 MoE 系统**，这或将为下一代通用人工智能（AGI）奠定基础。 对于 AI 从业者而言，理解 MoE 在多模态中的这三个角色，有助于在设计模型架构时更精准地选择技术路线——是追求效率优先，还是表征质量优先，或是适配灵活性优先。
随着生成式AI模型在边缘设备上的部署日益普及，资源管理面临两大现实挑战：部署时难以预知每个设备上每个模型的性能，且性能会因用户驱动的语义事件、后台负载和设备变动而动态变化。传统的离线调优资源管理器在这种非平稳环境下变得脆弱且维护成本高昂。为此，研究者提出了 **E³-Agent**，一种可执行且可进化的智能体，专门用于边缘AIGC（人工智能生成内容）的资源管理。 ## 架构设计：快慢路径分离 E³-Agent的核心创新在于将**快速路径路由器**与**慢路径大语言模型元控制器**分离。快速路径路由器负责毫秒级的调度决策，确保低延迟；而慢路径LLM元控制器则通过事件驱动的方式，在检测到环境变化（如语义偏移、设备增减、负载变化）时，通过工具接口暴露的小型显式控制面进行干预，包括风险门控、路由器配置和快速性能校准。这种设计既保证了实时性，又具备了应对非平稳性的灵活性。 ## 在线学习与持续适应 E³-Agent能够从执行反馈中在线学习，不断适应未知且时变的服务时间映射。这意味着它无需预先了解每个设备-模型组合的性能，而是通过实际运行数据自我调整。这种进化能力使其在动态环境中始终保持高效。 ## 实验验证：显著降低延迟 研究团队在基于MLPerf设备模型测量先验的离散事件模拟器上评估了E³-Agent，覆盖了冷启动预热以及三种动态场景：**语义动态**（用户请求分布变化）、**设备变动**（设备上线/下线）和**隐藏漂移**（后台负载等未观测因素变化）。结果显示，与最佳静态基线相比，E³-Agent在动态场景下将**平均延迟降低了65%到73%**，且与用于评估的在线全信息Oracle相比，性能差距仅为7%到10%。此外，在语义退化场景下，E³-Agent有效抑制了卡顿率。 ## 行业意义与展望 边缘生成式推理的资源管理一直是部署中的痛点。E³-Agent通过将LLM作为元控制器，实现了对传统调度策略的智能化增强，为边缘AI的落地提供了一种低成本、高适应性的解决方案。未来，这种快慢路径分离与在线学习的范式有望被推广到更广泛的资源调度领域。
时间序列分类（TSC）是许多工业应用的核心任务，从金融预测到医疗诊断都离不开它。近年来，**状态空间模型（SSM）** 作为序列建模的新范式备受关注，尤其是以 Mamba 为代表的架构，通过输入依赖的状态转换取得了出色表现，但代价是极高的计算复杂度。然而，一项最新研究打破了这一趋势——来自莫纳什大学等机构的研究人员发现，**更简单的对角 SSM（S4D）** 在 TSC 任务上不仅效率更高，准确率也全面超越 Mamba 变体。 ## 核心发现：复杂度并非越多越好 研究团队首次系统比较了**对角 SSM（S4D）**和**输入依赖 SSM（Mamba 家族）**在大规模 TSC 基准上的表现，覆盖 **59 个数据集**，包括 MONSTER（多达 6000 万样本、5 万时间步、82 个类别）和 UEA 基准。结果出人意料：S4D 在准确率和效率上均稳定优于 Mamba 变体，挑战了“更高复杂度必然带来更好性能”的普遍假设。 ## 轻量级改进：MS4 与 MS4N 基于这一发现，团队提出了两个轻量级改进版本： - **MS4**：在 S4D 基础上加入线性输入投影和通道混合机制，几乎不增加计算量。 - **MS4N**：进一步引入归一化操作，稳定状态动态，开销可忽略。 在与 **15 个基线模型**的对比中，MS4 和 MS4N 不仅全面超越 Mamba 模型，还**匹配甚至超越了参数规模大 2 倍到 10 倍的深度学习模型**。这意味着，在 TSC 领域，**轻量级结构化 SSM** 完全可以替代堆砌复杂度的方案。 ## 行业启示：效率与精度的新平衡 这一研究对 AI 行业有重要启示。当前，大模型竞赛中“越大越好”的思维盛行，但在许多实际应用中，计算资源有限，**效率与精度的平衡**才是关键。SSM 作为 Transformer 的潜在替代者，其简化版本在 TSC 上的成功表明：**针对特定任务设计精简架构，可能比盲目扩大模型更有效**。 此外，Mamba 架构虽在语言建模等领域表现突出，但其在时间序列任务中的优势并不明显。这提醒我们，**架构选择应基于任务特性**，而非盲目追随潮流。 ## 未来方向 研究团队指出，未来工作可探索将 SSM 与其他机制（如注意力）结合，或进一步优化归一化策略。同时，将 MS4/MS4N 扩展到更多序列任务（如异常检测、预测）也是自然方向。 总之，这篇论文为时间序列分类提供了一个**简单、高效且强大**的新基线，也再次证明：在 AI 领域，**少即是多**的理念依然值得重视。
在无线传感器网络（WSN）中，物联网（IoT）传感器通常面临能量受限的挑战，而采样频率的合理决策成为节能的关键。最新研究提出了一种名为 **IGADA-IoT** 的自动数据增强框架，通过分层多生成器协作与调度，显著提升了采样频率决策的准确性，从而优化能耗。该工作发表于 arXiv，论文编号 2605.27397。 ## 现有方法的局限 传统数据增强方法通常依赖单一生成器，且生成样本的数量和类型由经验决定。这种“一刀切”的方式无法根据动态信息缺口动态调整，导致生成样本的异质性被忽视。此外，现有方法缺乏对信息缺口与模型性能的联合评估，容易出现增强不足或过度增强的问题。 ## IGADA-IoT 的创新设计 IGADA-IoT 的核心是一个 **分层多生成器协作与调度策略（HMGCS）**。该策略将多个生成器分层组织，根据当前的信息缺口动态协调各生成器的输出，使生成样本的分配更具针对性和合理性。 同时，论文提出 **信息缺口-模型性能联合评估与闭环方法（IGMP-EC）**，在每一轮增强中同时评估信息缺口和下游模型的表现，从而自动决定是否继续增强以及如何调整增强策略。这有效避免了传统方法中增强不足或过度的风险。 ## 实验结果与性能提升 实验基于多个公共 IoT 传感器数据集（来自 UCR 存档）以及真实部署数据，结果显示： - 相比不使用数据增强，**IGADA-IoT 使多个下游模型的平均准确率提升 7.27%**； - 与先进的数据增强方法相比，**平均准确率提升 8.67%**； - 与单个生成器相比，**平均准确率提升 7.24%**。 这些提升在多个数据集上具有一致性，证明了框架的准确性和泛化能力。 ## 行业意义与展望 该研究为 IoT 传感器能耗优化提供了新的思路：通过智能数据增强，在不增加硬件成本的前提下，提升采样决策模型的性能，从而降低不必要的采样能耗。未来，这一框架有望扩展到更复杂的多模态传感器网络，并与其他节能技术（如休眠调度、压缩感知）结合，进一步延长网络寿命。
联邦强化学习（FedRL）允许多个智能体在不共享原始数据的前提下协作训练全局策略，在隐私敏感应用中极具潜力。然而，当各智能体所处环境存在异质性（即状态转移动力学不同）时，输入分布不一致会导致聚合阶段参数更新失衡，严重影响训练效率与最终性能。 近日，来自南达科他州立大学的研究团队在 arXiv 上提交了一篇被 **IJCNN 2025** 接收的论文，提出了一种**个性化观测归一化（Personalized Observation Normalization, PON）**方法，旨在解决上述难题。 ### 核心思路：局部归一化，个性化统计 传统 FedRL 通常对所有智能体采用全局共享的观测归一化参数，但在异质环境下，不同智能体的状态空间分布差异显著，共享参数反而会引入偏差。PON 的核心理念是：**每个智能体在本地维护并持续更新自身的运行均值和方差，对原始状态输入进行独立归一化**。这样一来，本地特征尺度得到统一，聚合时各智能体的更新梯度不会因输入分布差异而被相互掩盖。 研究明确指出，**共享归一化参数在异质环境下是无效的**，因为不同智能体的局部输入分布差异巨大，统一归一化无法适配所有客户端。个性化统计量的必要性由此凸显。 ### 实验验证：MuJoCo 任务中的显著提升 团队在**异质 MuJoCo 仿真环境**中设计了多项连续控制任务进行验证。实验结果表明，与基线方法（如无归一化、全局共享归一化等）相比，PON 方法在**训练速度**和**最终累积奖励**上均取得了显著优势。具体而言，PON 能够更快地收敛到更优策略，且在不同异质程度下均保持鲁棒性。 ### 行业意义与展望 联邦强化学习在机器人协作、自动驾驶、工业控制等分布式场景中具有广阔前景，但环境异质性一直是实际部署的主要障碍。PON 方法通过轻量级的本地归一化设计，无需额外通信开销，即可有效缓解异质性问题。这一思路也为后续研究提供了重要参考：**个性化统计与联邦聚合的协同设计**，或将成为 FedRL 走向实用的关键方向。 论文已被 IJCNN 2025 接收，感兴趣的读者可前往 arXiv 获取全文。
在持续学习（CL）领域，如何从海量预训练模型中挑选出能更好平衡“可塑性-稳定性”的模型，一直是个关键难题。对数偏移（logit shift）天然适合作为评估指标，因为它直接反映了CL场景中的模型输出变化。然而，计算对数偏移需要巨大的计算开销，阻碍了大规模模型选择。现有理论分析因假设隐藏层宽度均匀，忽略了实际架构的异质性（变宽度和深度），无法提供高效替代方案。 针对这一挑战，来自研究团队的最新论文《Architecture-driven Shift: towards a lightweight selector for capturing the trends of logit shift》提出了一种名为**架构驱动偏移（ADS）**的轻量级指标。论文核心在于：将对数偏移解耦为架构依赖和数据依赖两部分，并证明两者组合成的ADS能够仅用少量数据样本即可有效捕捉对数偏移趋势。 ### 理论机制：三大组件 ADS的推导基于三个机械组件： 1. **权重矩阵梯度的谱范数与层宽度的缩放关系**：揭示了架构如何影响梯度传播。 2. **新任务的优化路径长度**：反映了学习新任务时模型需要调整的程度。 3. **宽网络中的渐近任务冲突**：当网络宽度增加时，不同任务之间的冲突趋于稳定。 理论表明，对于在先前任务上优化良好的模型，**ADS值越高，意味着在当前任务训练后对数偏移越大**。 ### 实证验证：强单调相关性 研究团队在**超过175种不同架构**上进行了广泛实验，结果显示ADS与对数偏移之间存在**强单调相关性**（最弱斯皮尔曼相关系数 $r_s=0.731$）。这意味着ADS可以作为对数偏移的可靠代理，而计算成本却极低。 ### 实际应用：轻量级校准误差代理 进一步，论文展示了ADS可作为**预期校准误差（ECE）的轻量级代理**——ECE是可靠CL模型选择中广泛使用的指标。在三个数据集、六个场景下的实验表明，ADS能有效替代ECE，大幅降低计算负担。 ### 意义与展望 这项研究为持续学习中的模型选择提供了一种**理论驱动、计算高效的实用工具**。它摆脱了对均匀宽度假设的依赖，直接应对真实世界架构的异质性。未来，ADS有望被集成到自动化模型搜索或在线学习系统中，帮助开发者快速筛选出最适合的预训练模型，从而提升CL系统在动态环境下的鲁棒性与适应性。
大语言模型（LLM）的预训练效果正越来越依赖于**数据构成**而非单纯的数据量。然而，如何实现最优数据混合一直是个难题：传统的人工分类存在本体论错位，而欧几里得聚类又无法处理嵌入向量的各向异性问题。针对这一挑战，来自学术界的研究团队提出了**GEM（几何熵混合）** 框架，将数据配比问题重新定义为超球面上的变分问题，并引入混合平衡正则化项，为数据筛选提供了全新的几何视角。 ## 核心创新：从欧氏空间到超球面的跃迁 GEM的核心在于**解耦生成先验**，并通过可证明的 MM（Minorize-Maximize）算法优化目标函数。该方法有效抑制了聚类坍缩现象，能够发现欧几里得启发式方法无法识别的平衡语义结构。简单来说，传统方法在数据嵌入空间中做聚类时，往往由于各向异性导致聚类结果偏向高密度区域，而GEM通过几何熵约束使得聚类更加均匀，从而挖掘出更丰富、更均衡的数据分布。 ## 可扩展性与可解释性并重 为了将这一几何保真度扩展到网络规模的语料库，研究团队采用了**教师-学生蒸馏**技术。同时，他们引入了**几何影响评分（GIS）**，用于生成可解释的类别体系。这意味着GEM不仅能在数学上优化数据混合，还能为用户提供清晰的类别解释，让研究人员理解“为什么某些数据被归为一类”。 ## 实验验证：1.1B参数模型的显著提升 在包含 1.1B 参数的模型上进行实验，GEM 在与 DoReMi、RegMix 等主流混合策略整合后，**平均下游准确率提升了高达 1.2%**，并建立了一个新的最优水平。更重要的是，GEM 提供了一个鲁棒的坐标系统，使得数据混合的效果变得可预测，这对大规模预训练的实际工程落地至关重要。 ## 行业意义：数据配比走向科学化 当前，LLM 预训练正从“堆数据”转向“配数据”。GEM 的工作直接回应了业界对数据质量与平衡性的迫切需求。它不再依赖人工经验或简单的随机采样，而是通过严格的几何优化来指导数据选择。这一方向有望成为未来大模型训练的基础设施之一，尤其在多领域、多任务场景下，GEM 的价值将更为凸显。 目前该论文已提交至 ICML 2026，感兴趣的读者可通过 arXiv 获取完整技术细节。
在金融交易欺诈检测领域，标签数据稀缺使得无监督异常检测方法备受青睐。**隔离森林（Isolation Forest, IF）** 因其可扩展性和易部署性成为经典方法之一。近期，一篇 arXiv 论文提出了 **SilIF**，一种通过引入轮廓系数（silhouette score）来增强隔离森林的无监督异常检测算法。 SilIF 的核心思路是：在隔离森林每棵树生成的路径长度向量基础上，对样本进行聚类，并计算每个样本的轮廓系数，衡量其与其所属簇的匹配度。然后将轮廓系数与原始 IF 异常分数通过一个超参数 α 融合。在 **IEEE-CIS 欺诈检测基准数据集**（约 59 万笔交易，欺诈率 3.5%）上，当 α=1.0 时，SilIF 的平均 AUC-PR 比原始 IF 提升 **+0.0080**，且在全部 5 个随机种子下均优于 IF（配对 t 检验 p=0.046）。 然而，在合成信用卡数据集 Sparkov 上，轮廓增强并未带来改进。论文分析了两种数据集的特征差异，指出 SilIF 在结构分组明显的场景下更有效。总体而言，SilIF 是一个可调、易部署的增强方案，且作者诚实地报告了其适用条件。
## 概览 人类决策是一个顺序且具有不确定性意识的过程，而标准神经网络通常依赖于静态、密集的前向计算，对证据获取、不确定性演化或何时停止计算缺乏可见性。近日，一项发表于 arXiv 的新研究提出了 **神经贝叶斯顺序路由 (Neural Bayesian Sequential Routing, NBSR)** 框架，将神经推理建模为在分层有向无环图（DAG）上的主动证据累积过程。 ## 核心机制 NBSR 的核心思想是在一个 Dirichlet-Categorical 共轭框架内运作。神经专家查询一个持久的全局知识库，提取正证据向量，这些向量作为伪计数，通过精确的共轭加法更新 Dirichlet 信念状态。结合 Gumbel-Softmax Straight-Through 估计器，这种更新能够实现硬性的、路径依赖的路由，同时保留用于端到端训练的代理梯度。 ## 关键特性 - **不确定性量化**：产生的 Dirichlet 精度和熵提供了不确定性量化机制，支持基于熵的提前退出、OOD（分布外）拒绝和成本感知的证据获取。 - **理论保证**：论文证明，在严格正证据提取条件下，总 Dirichlet 精度沿任何有效轨迹单调递增，边际预测方差有界，形式化了顺序“假设锐化”过程。在理想容量和优化假设下，终端 Dirichlet 期望恢复贝叶斯最优条件分布。 - **资源理性推理**：通过动态调整计算路径，NBSR 能够实现资源理性的推理，在性能和计算成本之间取得平衡。 ## 实验验证 研究者在多个任务上进行了实证评估，包括视觉分类、结构化医学诊断、语言建模、部分可观测控制以及成本感知的贝叶斯实验设计。结果显示，NBSR 在取得有竞争力的预测性能的同时，提供了透明的路由轨迹、路径依赖的证据归因、不确定性感知的决策控制以及资源理性的推理。 ## 意义与展望 NBSR 为可解释、模块化和资源理性的智能体 AI 提供了一个数学上严谨的框架。它模仿了人类顺序决策中的证据累积过程，有望在需要可解释性和不确定性管理的应用场景（如医疗诊断、自动驾驶、科学发现）中发挥重要作用。论文作者黄永超在 71 页的篇幅中详细阐述了理论、算法和实验，为后续研究奠定了基础。 ## 小结 NBSR 通过将贝叶斯推理与神经路由相结合，为构建更智能、更透明的 AI 系统开辟了新的路径。其核心创新在于利用 Dirichlet 过程动态管理不确定性，并通过路径依赖的路由实现计算资源的自适应分配。这一工作不仅具有理论深度，也在多个实际任务中验证了其有效性，展现了在下一代 AI 系统中的应用潜力。
## 当神经网络学会“几何对称”：李群嵌入开启稳定动力学新范式 在机器人、图形学与控制领域，许多现实问题都涉及**旋转、平移等连续对称性**，而李群（Lie group）正是描述这类对称性的数学工具。然而，传统神经网络在欧几里得空间运作，难以直接“理解”李群的非线性结构。近日，研究者提出 **LieEDNN（李群嵌入动力学神经网络）**，通过将李群嵌入神经网络，在流形上实现可学习且稳定的动力学系统。 ### 两大核心挑战 1. **加法不兼容**：李群本身不满足加法运算，而神经网络依赖线性代数中的加法与矩阵乘法。 2. **非线性表示空间**：动力学在李代数（Lie algebra）的矢量空间中演化，这与常规神经常微分方程（Neural ODE）的欧几里得范式不同。 ### 解决方案：伴随作用与流形投影 为了突破上述限制，研究团队引入**伴随李群作用**，将李代数上的线性映射转化为权重矩阵的块状结构，从而在代数空间内实现加法操作。具体而言： - 将李代数参数化为线性变换，与神经网络感知机对齐； - 通过块状流形约束对权重施加几何限制； - 开发基于梯度下降与度量投影的学习算法，保证时间动力学系统的**稳定性**。 ### 实验验证：SE(3)与伸缩机械臂 论文以**特殊欧几里得群 SE(3)**（描述刚体旋转与平移）为实例，将其应用于**伸缩机械臂**的动力学规划。实验结果表明，LieEDNN 能够在流形上学习到稳定的动态轨迹，验证了方法的有效性。 ### 行业意义与潜在影响 这项研究为将**几何深度学习**引入控制与机器人领域提供了新思路。传统方法往往需要手动设计动力学模型，而 LieEDNN 让模型自动从数据中学习流形上的稳定行为，有望简化复杂系统的控制流程。未来，该方法可扩展至更多李群（如旋转群 SO(3)），在**机械臂规划、3D 图形动画、航天器姿态控制**等场景中落地。 论文目前为预印本，正在审稿中。