新上线今天0 投票
零膨胀高斯分布：为分布估计算法开辟参数空间稀疏性新路径
分布估计算法（EDA）是一类强大的黑箱优化进化方法，尤其适用于目标函数结构未知的场景。与依赖手工设计变异和交叉算子的经典进化算法不同，EDA 通过直接对最优个体拟合概率分布并从中采样生成下一代，从而避免了算子设计的偏差和复杂性。然而，传统 EDA 在连续参数空间上表现良好，却未能推广到稀疏参数空间——即大部分最优解系数恰好为零的场景。现有稀疏黑箱优化器不得不重新引入手工设计的稀疏算子、双层交替优化机制、零阈值截断等方法，恰恰违背了 EDA 的设计初衷。
为了填补这一空白，研究者提出将多变量零膨胀高斯（ZIG）分布作为 EDA 的采样法则。ZIG 分布通过一个潜高斯模型，将稀疏模式（指示维度）与活跃参数值（数值维度）分离又联合建模，能够同时刻画稀疏结构、活跃参数间的相关性以及两者之间的交互作用。这意味着稀疏模式和活跃参数值可以在无层级结构的情况下联合优化，无需任何手工干预。
关键贡献在于证明了该模型的潜参数可以从观测样本中识别，这与传统缺失数据场景中的相关构造不同。研究者还提出了实用的摊销逆推估计器，能够高效恢复潜相关结构。在 Lunar Lander 基准测试中，基于 ZIG 的 EDA 相比稠密高斯 EDA、手工设计的稀疏进化算法以及临时稀疏 EDA，收敛速度更快、最终回报更高，且找到的控制器仅激活了少量参数。
这一工作将 EDA 的适用边界扩展到了稀疏优化问题，为机器学习中的特征选择、模型压缩、神经网络剪枝等需要稀疏解的领域提供了新的理论工具和实用算法。未来，ZIG-EDA 有望在更复杂的黑箱优化任务中展现优势，并推动进化计算与稀疏表示研究的交叉融合。