DeepSeek-V4

DeepSeek-V4 是一款面向超长上下文场景的混合专家（MoE）大语言模型预览系列，包含 V4‑Pro（1.6T 参数，49B 活跃）和 V4‑Flash（284B 参数，13B 活跃）两个版本，均支持 1M Token 上下文。通过创新的混合注意力机制（CSA+HCA），大幅降低长上下文计算和 KV 缓存开销，配合 mHC 连接与 Muon 优化器，训练稳定性显著提升。模型在 32T+ Token 上完成预训练，并经过专家专业化与合并的后训练阶段，在长文档理解、代码生成、多轮对话等任务中表现出色。

核心功能

• 百万级上下文窗口：原生支持 1M Token，可一次性处理整本书、超长代码库或历史对话。
• 混合注意力架构：结合 CSA（压缩稀疏注意力）与 HCA（分层交叉注意力），在保证精度的同时降低计算复杂度。
• MoE 高效推理：仅激活部分参数（Pro 版 49B，Flash 版 13B），兼顾性能与速度。

主要特性

• 超长上下文处理：1M Token 上下文，适合文档分析、代码审查、学术研究等场景。
• 高性价比：Flash 版仅 13B 活跃参数，部署成本低，适合资源受限环境。
• 训练优化：Muon 优化器与 mHC 连接提升训练稳定性，支持大规模分布式训练。
• 专家专业化：后训练阶段通过专家合并与专业化，增强特定领域能力。

适用场景

• 长文档理解：分析法律合同、科研论文、技术手册等超长文本。
• 代码生成与审查：处理完整代码库，生成或修复跨文件代码。
• 多轮对话：记忆大量历史对话，实现连贯、个性化的交互。
• 知识密集型任务：结合外部知识库，进行深度问答与推理。