新上线今天0 投票
ALAS：可学习α-稳定核，让贝叶斯优化更灵活
贝叶斯优化（Bayesian Optimization）是处理昂贵黑箱优化问题的常用方法，但它的表现很大程度上取决于所选核函数是否匹配目标函数的未知结构。传统的核函数（如RBF或Matérn）通常假设固定的平滑性，难以同时捕捉光滑趋势和陡峭突变。
近日，黄伟波与华程在提交至arXiv的论文中提出了ALAS（Additive Learnable Alpha-Stable Kernels），一种基于对称α-稳定谱成分构建的灵活高斯过程核家族。其核心创新在于通过学习稳定参数α，让核函数能自适应地调整有效平滑性，从而从数据中同时捕捉光滑趋势和尖锐不规则性。
论文给出了两种参数化方案：
- ALAS：单稳态成分，通过联合谱调制实现整体自适应；
- ALAS-Sep：可分离变体，为每个维度学习独立的尾部行为，对近似可分解的目标函数更具鲁棒性。
在标准基准测试和真实世界代理模型上的实验表明，ALAS系列核在多种设置下均表现出强劲且稳定的性能。
技术背景与意义
贝叶斯优化的核心是高斯过程代理模型，核函数决定了模型对函数平滑性的假设。传统核（如RBF）对应固定平滑度，而实际目标函数往往在不同区域具有不同平滑特性。ALAS通过将核函数表示为α-稳定分布的谱混合，α值控制尾部厚度：α=2时退化为高斯核（光滑），α<1时呈现重尾特性（允许突变）。这种可学习性使得ALAS能自动权衡偏差与方差。
实验亮点
在多个合成函数和实际工程优化任务中，ALAS和ALAS-Sep均优于固定核方法（如RBF、Matérn5/2）以及自适应核方法（如SM-AGP）。特别是在含有不连续或突变区域的函数优化上，ALAS的收敛速度和最终解的质量均有显著提升。
总结
ALAS为贝叶斯优化提供了一种灵活、自适应的核选择机制，降低了用户对先验知识的依赖。未来可进一步探索其在高维优化、多任务学习等场景的应用。