SheepNav
新上线16天前0 投票

NVIDIA Nemotron 3 Super 模型现已在 Amazon Bedrock 上线运行

NVIDIA Nemotron 3 Super 登陆 Amazon Bedrock:为生成式 AI 应用注入新动力

近日,NVIDIA Nemotron 3 Super 模型正式作为一项完全托管且无服务器的服务,在 Amazon Bedrock 平台上推出。这标志着继 Nemotron Nano 系列模型之后,NVIDIA 的开放模型家族在 Bedrock 环境中又添一员实力干将。对于开发者而言,这意味着无需再为底层基础设施的复杂性所困扰,即可利用这些先进模型加速创新,并直接转化为可观的商业价值。

模型核心特性:效率与精度的双重突破

Nemotron 3 Super 是一款混合专家模型(MoE),专为多智能体应用和专业化智能体 AI 系统设计,在计算效率和准确性方面均处于领先地位。其核心优势体现在:

  • 架构创新:采用混合 Transformer-Mamba 架构的 MoE 设计,并支持令牌预算机制,旨在以最少的推理令牌生成量实现更高的准确性。
  • 性能飞跃:在其规模类别中拥有最高的吞吐效率,相比前代 Nemotron Super 模型提升高达5倍。在推理和智能体任务上的准确性也领先于主流开放模型,相比前代版本提升近2倍。该模型在 AIME 2025、Terminal-Bench、SWE Bench verified 及多语言版本、RULER 等多个权威基准测试中均取得了优异成绩。
  • 规模与能力:模型总参数量为 1200亿,其中活跃参数量为 120亿。支持长达 256K 令牌的上下文长度,输入输出均为文本格式,并支持包括英语、法语、德语、意大利语、日语、西班牙语和中文在内的多种语言。

技术亮点:潜空间 MoE 与多令牌预测

为了在保持高效推理的同时实现更强的专业能力,Nemotron 3 Super 引入了两项关键技术:

  1. 潜空间混合专家(Latent MoE):与传统 MoE 不同,该模型的专家在共享的潜空间表示上进行操作,然后再将输出投影回令牌空间。这种方法使得模型能够在相同的推理成本下调用多达4倍的专家,从而能够更好地围绕细微的语义结构、领域抽象或多跳推理模式进行专业化处理。
  2. 多令牌预测(MTP):这项技术使模型能够同时预测多个未来的令牌,这有助于提升生成文本的连贯性和长程依赖建模能力,对于需要复杂规划和推理的任务尤为重要。

开放生态与落地应用

NVIDIA 以开放权重、数据集和训练配方的形式发布了 Nemotron 3 Super。这种开放性赋予了开发者极大的灵活性:他们可以根据自身需求对模型进行定制、改进,并部署在自己的基础设施上,从而满足更高的隐私和安全要求。

在 Amazon Bedrock 上,开发者可以利用其完全托管的推理服务以及丰富的功能和工具集,轻松地将 Nemotron 3 Super 集成到自己的生成式 AI 应用中。其潜在应用场景广泛,包括但不限于:

  • 复杂对话与客服系统:利用其长上下文和多语言能力,构建更智能、更连贯的对话助手。
  • 代码生成与软件工程辅助:凭借在 SWE Bench 等基准上的优异表现,成为开发者的强大编程伙伴。
  • 专业领域智能体:在金融、法律、医疗等需要深度推理和专业知识的领域,构建可靠的 AI 辅助决策系统。
  • 内容创作与摘要:生成高质量、逻辑清晰的长篇文本内容或进行精准的信息提炼。

小结

Nemotron 3 Super 在 Amazon Bedrock 的可用性,为企业和开发者提供了一个兼具顶尖性能、高效率和部署灵活性的生成式 AI 选项。它不仅是 NVIDIA 在开放模型战略上的重要一步,也进一步丰富了 AWS 的 AI 服务生态,降低了先进 AI 技术的应用门槛。对于寻求构建下一代智能应用的团队来说,这无疑是一个值得深入探索的强大工具。

延伸阅读

  1. 太空数据中心能否支撑SpaceX的巨额估值?
  2. 在日本,机器人不是来抢工作的,而是填补没人愿意干的岗位
  3. 我让Google Maps里的Gemini规划我的一天,结果出乎意料地好
查看原文