新上线今天0 投票
块稀疏特征化器深度解析：改进方案与跨编码器扩展
近年来，稀疏自编码器（SAE）在可解释性研究中扮演着重要角色，但它在处理低维流形特征时存在局限。为此，研究者提出了块稀疏特征化器（BSF），其原子单元是方向块而非单个方向。近期一篇论文对BSF进行了深入分析，提出了改进方案，并将其扩展至跨编码器。
背景与动机
SAE通过稀疏激活学习可解释特征，但其假设特征是单方向，而实际特征常存在于低维流形上，尤其在视觉领域。BSF通过将原子单元设为小方向块来应对这一挑战，但论文发现BSF仍存在经典SAE的失败模式，如特征分裂和特征组合。
改进方案：Tournament Top-K
论文提出了一种名为Tournament Top-K的选择规则，通过两两比较动态选择激活块，显著减少了特征分裂。实验表明，该方法在保持特征质量的同时，提升了稳定性。
扩展至跨编码器
论文将块范式扩展至跨编码器，用于分析模型间的特征对齐。跨编码器在表示对齐研究中具有潜力，但此前缺乏针对块结构的支持。这一扩展为跨模型分析提供了新工具。
实验与发现
实验在视觉数据集上进行，对比了BSF与改进版本。结果显示，Tournament Top-K在降低特征分裂的同时，保持了特征的可解释性。跨编码器版本则展现了良好的对齐能力。论文指出了未来方向，如动态块大小和训练效率优化。
总结
该研究深化了对BSF的理解，提出的改进方案和跨编码器扩展为可解释性研究提供了新思路。对于关注AI可解释性的研究者，该论文值得一读。