Tomofun，这家总部位于台湾的宠物科技初创公司，旗下产品 **Furbo 宠物摄像机** 正在重新定义宠物主人与宠物远程互动的方式。Furbo 将智能摄像头与 AI 结合，能够检测狗狗吠叫、奔跑或异常活动等行为，并实时向主人发出警报。这一能力的核心是计算机视觉和视觉语言模型，它们从视频流中解读宠物的动作。 最初，Furbo 的推理工作负载运行在基于 GPU 的 Amazon EC2 实例上。虽然 GPU 提供了高吞吐量，但由于需要支持大规模实时宠物活动警报的持续推理，成本高昂。为了降低成本并保持准确性，Tomofun 转向了由 **AWS Inferentia2** 驱动的 EC2 Inf2 实例，这是亚马逊自研的 AI 芯片。 ## 挑战：降低大规模实时视觉语言模型的 GPU 推理成本 运行先进的视觉语言模型（如 BLIP）原本托管在 GPU 实例上，但对于需要始终在线、实时推理的大规模工作负载来说，成本效益不佳。挑战有两方面：Tomofun 需要在数十万台设备上持续进行宠物行为监控，同时保持模型保真度和吞吐量，且不能大幅重写已针对 PyTorch 优化的 BLIP 代码库。 ## 解决方案概览 系统通过 AWS 服务实现了大规模宠物行为检测。其架构核心是 **Elastic Load Balancing (ELB)** 和 **Amazon EC2 Auto Scaling 组**，使用 EC2 Inf2 实例，能够随着推理负载的实时增长进行弹性伸缩。当摄像头捕捉到一帧画面时，数据通过 Amazon CloudFront 和 ELB 路由到第一层 Auto Scaling 组（托管宠物行为检测 API 服务器）。API 层处理请求后，将图像转发给第二层 Auto Scaling 组（专用于推理）。 ## 技术实现与优势 Tomofun 利用 AWS Inferentia2 的 **Neuron Core** 架构和 PyTorch Neuron 编译器，将 BLIP 模型转换为高效推理格式。通过 **模型并行** 和 **流水线并行** 技术，将模型分布在多个 Neuron Core 上，显著提升了吞吐量。与 GPU 方案相比，Inf2 实例在保持同等精度的同时，推理成本降低了约 **40-50%**，且延迟满足实时检测需求。 ## 总结 Tomofun 的成功实践表明，对于大规模、始终在线的视觉语言模型推理，AWS Inferentia2 提供了 **高性价比** 的替代方案。通过优化模型部署和利用弹性伸缩，企业可以在不牺牲性能的前提下显著降低运营成本。
全球领先的航运公司 Hapag-Lloyd 正通过生成式 AI 革新其客户反馈分析流程。其数字客户体验与工程团队基于 **Amazon Bedrock**、Elasticsearch 以及 LangChain 和 LangGraph 等开源框架，构建了一套智能反馈分析解决方案，将原本需要数小时甚至数天的手动分析工作压缩至几分钟，并实现了从被动响应到主动洞察的转变。 ## 痛点：手工分析，难以规模化 Hapag-Lloyd 拥有约 14,000 名员工，运营 313 艘集装箱船，服务覆盖 600 多个港口。其数字客户体验与工程团队分布在汉堡和格但斯克，负责面向客户的网页和移动产品。此前，团队每两周进行一次客户反馈分析：产品经理导出 CSV 文件，逐条阅读数百条评分和评论，手动分类情感和主题。这种方式不仅耗时、重复，而且难以扩展，限制了团队对市场变化的快速响应能力。 ## 解决方案：AI 驱动的反馈分析管道 为了解决这一瓶颈，团队构建了一套基于生成式 AI 的自动化分析系统。核心组件包括： - **Amazon Bedrock**：作为基础模型平台，提供高性能的生成式 AI 能力，用于理解客户评论的语义和情感。 - **Elasticsearch**：用于存储和检索海量反馈数据，支持快速查询和聚合。 - **LangChain 与 LangGraph**：开源框架，用于编排 AI 工作流，将多步骤分析任务（如情感分类、主题提取、趋势识别）串联成自动化管道。 该方案实现了端到端的自动化：客户反馈从各渠道流入后，系统自动进行情感分析、主题聚类，并生成可视化摘要和趋势报告。产品经理无需再手动翻阅 CSV 文件，而是可以直接在仪表盘中查看关键洞察，例如“运输延误”相关负面评论增加了 20% 或“新订舱界面”获得积极反馈。 ## 业务价值：从效率提升到战略转型 引入 AI 分析后，Hapag-Lloyd 的反馈分析周期从数天缩短至数小时，且分析深度大幅提升。团队能够更频繁地获取洞察，并更快地将客户声音融入产品迭代。更重要的是，这一项目标志着公司向“AI-native”转型的关键一步——将 AI 作为核心能力嵌入工程实践，从而构建更智能的产品、加速创新并提升客户价值。 这一案例也展示了传统行业如何利用生成式 AI 解决实际业务问题。对于同样面临大量非结构化数据分析挑战的企业而言，Hapag-Lloyd 的实践提供了一个可参考的范式：通过云服务（Amazon Bedrock）降低 AI 门槛，结合开源工具链快速构建定制化解决方案，最终将数据转化为可执行的商业洞察。
Amazon SageMaker AI 今日宣布其 MLflow Apps 现已支持 **MLflow v3.10**，为生成式 AI 工作流带来增强的实验追踪、可观测性和评估能力。本次更新聚焦于生成式 AI 应用与智能体工作流的特殊需求，新增了针对多轮对话的追踪、与主流大模型框架的集成，以及通过 `mlflow.genai.evaluation()` API 实现系统性质量评估。此外，可观测性方面引入了更细粒度的追踪过滤、丰富的元数据捕获和预置性能仪表盘，帮助团队直观监控延迟、质量评分和 Token 用量等指标。结合 SageMaker AI 的企业级基础设施，MLflow v3.10 让数据科学家和 ML 工程师能够更高效地将生成式 AI 从实验推向生产，同时保持治理与可重复性。 ## 新特性亮点 ### 生成式 AI 追踪与集成 MLflow 3.10 显著提升了复杂多轮工作流的追踪能力，与 LangChain、LlamaIndex 等流行 LLM 框架的集成更加紧密，日志记录也针对生成式 AI 交互进行了优化。这意味着开发者可以更清晰地追溯每次推理的完整上下文，便于调试和优化。 ### 系统性评估：`mlflow.genai.evaluation()` 新引入的程序化评估接口支持在开发到生产的全生命周期中，使用内置指标（如**相关性、忠实度、正确性、安全性**）系统衡量生成式 AI 质量。这些指标与 SageMaker AI 工作流无缝集成，为模型迭代提供量化依据。 ### 可观测性升级 - **更精细的追踪过滤与搜索**：快速定位特定请求或异常。 - **丰富的元数据捕获**：辅助根因分析和调试。 - **预置性能仪表盘**：自动展示延迟分布、请求量、质量分数和 Token 用量，无需手动配置图表。 这些改进帮助生产团队一目了然地掌握运营成本与性能状况，而 MLflow 工作空间则支持跨团队和项目组织工件，实现结构化治理。 ## 如何开始 用户可以通过 Amazon SageMaker AI 控制台直接启用支持 MLflow 3.10 的 MLflow Apps，现有工作流可平滑升级。具体步骤可参考 AWS 官方文档。 ## 行业意义 随着生成式 AI 应用进入生产化阶段，实验管理、可观测性和评估成为关键瓶颈。MLflow 3.10 在 SageMaker AI 上的落地，意味着开发者可以在一个统一平台上完成从实验追踪、模型评估到生产监控的全流程，无需切换工具。此举进一步降低了生成式 AI 开发的门槛，尤其适合需要快速迭代和严格治理的企业场景。
亚马逊云科技宣布为 **AgentCore Browser** 引入 **操作系统级操作（OS Level Actions）** 能力。这一新特性通过 `InvokeBrowser API` 暴露直接的操作系统控制，使 AI 代理不仅能与浏览器网页层（DOM）交互，还能操控屏幕上由操作系统渲染的界面元素——包括原生对话框、安全提示、证书选择器、右键菜单、Chrome 设置等。 传统网页自动化工具（如 Playwright、Chrome DevTools Protocol）受限于浏览器 DOM，无法触及操作系统层级的 UI。当应用调用 `window.print()` 弹出系统打印对话框、或遇到 macOS 隐私弹窗、Windows 安全提示时，自动化流程就会中断。对于视觉 AI 代理，问题更突出：截图能捕获原生 UI，模型也能推理出操作意图，但后续执行却无路可走。 OS Level Actions 通过组合 **全桌面截图** 与 **鼠标/键盘操作系统级控制**，让代理在同一个会话中观察、推理并操作原生界面。该能力无需额外配置即可用于现有浏览器环境，支持鼠标点击、键盘输入、快捷键、滚动、拖放等操作。 这一更新对需要处理复杂认证流程、文件上传下载、浏览器设置变更或跨应用交互的自动化场景意义重大。它弥补了网页自动化与系统级操作之间的鸿沟，为构建更鲁棒的企业级 AI 代理铺平道路。开发者现在可以通过 Amazon Bedrock 的 AgentCore 服务体验这一能力。
AI 代理在生产环境中需要安全地访问外部服务。Amazon Bedrock AgentCore Identity 作为一项独立服务，无论代理运行在 Amazon ECS、Amazon EKS、AWS Lambda 还是本地环境，都能为其提供安全保障。本文聚焦于在 Amazon ECS 上实现授权码授权（三腿 OAuth），包括安全的会话绑定和作用域令牌管理。 ## 核心挑战 当 AI 代理运行在 ECS 等计算环境中时，面临两个关键问题： 1. 如何构建应用自有的会话绑定端点？ 2. 如何管理工作负载的访问令牌生命周期？ ## 解决方案概览 该方案基于 **OAuth 2.0**（RFC 6749）和 **OpenID Connect（OIDC）**。OIDC 负责用户身份认证（用户是谁），OAuth 2.0 则授权用户操作（用户能做什么）。重点在于**授权码授权**，用于用户委派访问。 流程如下： - 用户通过身份提供者（IdP）认证并授予同意。 - 应用将授权码交换为作用域访问令牌。 - Amazon Bedrock AgentCore Identity 将令牌安全存储在令牌库中。 由于每个令牌都绑定到特定用户身份并附带明确同意，该方案维护了一条从用户认证到代理操作的可审计链条。 ## 关键特性 - **安全会话绑定**：防止 CSRF 和浏览器交换攻击。 - **作用域令牌**：每个用户会话的令牌遵循最小权限原则。 - **关注点分离**：代理工作负载与会话绑定服务职责清晰。 - **认证与授权**：结合 OAuth 2.0 和 OIDC 实现。 ## 回调 URL vs 会话绑定 URL 在授权码授权流程中，两个 URL 容易混淆： - **回调 URL**：创建 OAuth 客户端时自动生成。 - **会话绑定 URL**：由应用自定义实现，用于绑定用户会话。 ## 适用场景 授权码授权特别适合**代表用户行动的代理工作负载**，原因如下： - 代理行动前需获得用户同意。 - 会话绑定确保发起授权请求的用户与同意授权的用户一致。 - 作用域委派限制代理仅能使用用户批准的权限。 该实现已在 ECS 上完成验证，提供了完整的代码示例和部署指南，帮助开发者快速构建安全的 AI 代理基础设施。
在当今数字化商业环境中，企业每天处理海量用户消息，其中既包含有价值的客户反馈，也潜藏着恶意接触、诈骗甚至品牌攻击。如何在不影响正常客户沟通的前提下，精准识别风险并提取业务洞察，成为一项关键挑战。本文介绍如何借助 **Amazon Bedrock** 上的 **Amazon Nova 基础模型**，构建一套智能消息防御与洞察系统，实现“一箭双雕”：既保护业务安全，又提升客户体验。 ## 核心能力：识别伪装接触与挖掘客户情绪 传统的消息过滤方案通常依赖规则引擎或关键词匹配，面对日益复杂的伪装手段（如变体拼写、语义隐藏、上下文诱导）往往力不从心。而生成式 AI 模型，尤其是 Amazon Nova 系列，具备强大的自然语言理解能力，能够从语义层面识别恶意意图。 通过将用户消息输入 Amazon Bedrock，调用 Nova 模型进行 **意图分类** 和 **情感分析**，系统可以： - **识别直接或伪装的恶意接触**：例如，诈骗者可能使用“客服转接”“账户验证”等看似正常的词汇，但模型能根据上下文判断其真实目的。 - **提取客户真实情感**：在排除恶意消息后，对正常客户消息进行情感打分，识别不满、困惑或赞扬，为服务改进提供数据支撑。 - **发现服务改进机会**：高频出现的投诉关键词、功能请求等，可自动汇总为洞察报告，指导产品迭代。 ## 技术实现：无服务器架构与模型编排 该方案基于 Amazon Bedrock 的无服务器体验，无需自行管理基础设施。开发者只需通过 API 调用 Nova 模型，即可将消息处理流程嵌入现有业务系统。典型架构包括： 1. **消息接入层**：通过 API Gateway 或 SQS 接收用户消息。 2. **智能分析层**：使用 Amazon Bedrock 调用 Nova 模型，进行意图识别与情感分析。 3. **决策与存储层**：根据分析结果，将恶意消息隔离或标记，将正常消息存入数据库供后续分析。 4. **洞察输出层**：通过 QuickSight 或自定义仪表盘，可视化展示客户情感趋势、风险分布等。 Amazon Nova 模型在成本和响应速度上经过优化，适合实时或近实时的消息处理场景。企业还可以结合 **Amazon Bedrock 知识库**，注入行业术语或历史案例，提升模型对特定领域伪装手法的识别准确率。 ## 案例场景：从电商客服到金融风控 该方案的应用范围广泛： - **电商平台**：识别“退款钓鱼”消息，同时收集用户对物流、商品的真实反馈。 - **金融机构**：检测冒充客服的诈骗短信，并分析客户对理财产品的情绪倾向。 - **社交平台**：过滤垃圾信息和恶意链接，同时发现用户对功能更新的普遍态度。 ## 小结：AI 驱动的双向价值 利用 Amazon Bedrock 和 Amazon Nova 模型，企业不再需要在“安全”与“体验”之间做取舍。同一套 AI 能力既能构筑消息防御的护城河，又能打开客户洞察的窗口。这种“防御+洞察”的双重价值，正是生成式 AI 在业务落地中的典型体现——它不只是工具，更是重塑客户关系管理的战略支点。
企业领导者依赖运营仪表盘作为日常执行的共享事实来源，但仪表盘仅能回答已知问题。当团队需要探索临时、多维或未知问题时，往往会遇到瓶颈——等待BI团队数小时甚至数天来构建新视图或更新报告。Amazon QuickSight 的数据集问答（Dataset Q&A）功能打破了这一僵局：用户可以用自然语言提问，在几秒内获得准确答案，无需构建新仪表盘或排队等待。它让你与现有数据集进行交互式对话，同时不干扰团队已依赖的仪表盘。 以AWS技术领域社区（TFC）项目为例，该项目每年支持数十万次客户互动，涵盖数十个专业领域。项目领导者和现场团队需要快速回答复杂运营问题，例如：客户需求在哪里增长？哪些团队具备合适的专业能力？客户互动是否得到及时解决？哪里有影响客户成果的潜在缺口？ 随着互动规模扩大，传统静态仪表盘在多维度复杂查询面前力不从心。利益相关者不得不在不同系统间手动交叉引用数据集，才能看清如何更好地服务客户。问题的核心在于工作流：领导者的提问打断BI工程师的计划工作，后者运行聚合后返回答案，而答案又引发下一个问题。真正的时间损失不在查询本身，而在提问者与拥有工具的人之间的交接。 数据集问答功能通过自然语言处理直接理解业务问题，从底层数据模型生成准确SQL查询，即时返回结果。它让业务用户独立探索数据，将BI团队从重复的临时查询中解放出来，专注于更高价值的分析工作。这不仅提升了决策速度，还推动了数据民主化——让每个决策者都能与数据对话。 对于希望构建数据驱动文化的组织，这一功能标志着从“被动响应”到“主动探索”的转变。当提问不再需要排队，洞察的获取就变成了连续的对话，而非离散的报告。
AI 智能体在发布时表现良好，但随着时间的推移，模型迭代、用户行为变化以及提示词被用于未曾预料的新场景，智能体的质量会悄然下降。许多团队直到用户投诉增加或关键指标下滑，才意识到问题所在。为此，AWS 现推出 **AgentCore 优化功能预览**，旨在通过一个完整的“智能体质量闭环”帮助开发者持续监控和提升智能体性能。 该功能的核心流程分为三步：首先，从生产环境的追踪数据中自动生成优化建议；其次，通过批量评估和 A/B 测试验证这些建议的有效性；最后，将经过验证的改进方案放心地部署上线。这一闭环机制将智能体的质量维护从被动响应转变为主动管理。 具体来说，AgentCore 能够分析智能体在生产中的实际表现，识别出响应质量下降、提示词冲突或上下文漂移等问题，并基于这些分析给出具体的优化推荐。开发者可以直接在 AWS 控制台中查看这些建议，并通过内置的评估工具进行批量测试，对比优化前后的效果。A/B 测试功能则允许在真实流量中逐步验证改进，降低上线风险。 这一功能的推出背景是 AI 智能体在生产环境中的长期维护难题。随着企业将越来越多的任务交给智能体处理，确保其稳定性和准确性变得至关重要。AgentCore 的优化循环不仅适用于初始开发阶段，更强调持续迭代——正如软件工程中的 CI/CD 流水线，智能体也需要一套持续改进的流程。 目前该功能处于预览阶段，AWS 用户可申请试用。对于构建复杂智能体应用的团队而言，这无疑是一个值得关注的工具，它有望将智能体运营从“消防模式”转向“预防模式”，减少因质量退化带来的业务影响。
AI 智能体在发布时表现优异，但随着模型迭代、用户行为变化以及提示词在未预期场景中的复用，其性能会悄然退化。传统修复方式依赖人工排查：开发者翻阅追踪记录、形成假设、重写提示词、测试少量案例后发布修复，但此循环效率低下且易引入新问题。Amazon Bedrock AgentCore 现推出全新优化能力，补齐“观察-评估-改进”闭环中的关键环节。新功能包括：基于生产追踪和评估结果生成**优化建议**，自动改进系统提示词或工具描述；**批量评估**允许使用预定义测试数据集验证建议，并报告聚合分数以捕捉回归；**A/B 测试**通过 AgentCore Gateway 在真实流量中按比例分流，以置信区间和统计显著性报告对比结果。此外，当手工编写的测试场景不足时，可利用 LLM 驱动的模拟器生成用户行为数据集。这一系列工具将开发者从依赖直觉的调试模式中解放出来，转向数据驱动的系统化优化流程，使智能体质量维护从周/月级周期提升至日常可持续改进。
AI 智能体在发布时表现良好，但随着模型更新、用户行为变化以及提示词被复用到新场景，其性能会悄然下降。传统的调试方式依赖开发者手动分析追踪日志、猜测问题根源并反复修改，效率低且易引入新问题。Amazon Bedrock AgentCore 新推出的智能体质量优化功能，通过自动化推荐、批量评估和 A/B 测试，帮助团队系统性提升智能体性能。 ### 核心能力 - **智能推荐**：基于生产追踪日志和评估结果，自动优化系统提示词或工具描述，以更好地适配你指定的评估标准。 - **批量评估**：使用预定义测试数据集验证推荐效果，输出聚合评分，快速发现关键场景的回归问题。如果手工测试用例不足，还可利用 LLM 驱动的模拟用户生成数据集。 - **A/B 测试**：通过 AgentCore Gateway 在生产环境中进行流量分割，对比不同版本智能体的表现，并给出置信区间和统计显著性结果。 ### 行业背景 智能体质量下降是 AI 工程中的常见痛点。多数团队缺乏自动反馈闭环，只能被动响应投诉。大型团队虽有专门团队和基准测试，但更新周期往往以周或月计，而智能体每天都可能发生漂移。AgentCore 的新功能将评估-优化循环自动化，让产品团队能基于数据而非直觉做出改进。 ### 实践价值 这套工具链覆盖了从问题发现、根因分析到变更验证的完整流程。开发者不再需要手动翻阅海量追踪日志，系统会自动给出优化建议，并通过批量测试和线上 A/B 实验双重验证，确保每个改动都经得起推敲。这对于高频迭代的智能体应用尤为重要，能显著降低维护成本并提升用户体验。
每个组织都能访问相同的基础模型，真正的竞争优势来源于用专有数据和领域知识定制模型。但这一过程充满挑战：需要掌握监督微调（SFT）、直接偏好优化（DPO）、强化学习可验证奖励（RLVR）等技术，处理碎片化的API和数据格式，设计严格的评估，并管理长达数月的实验周期。 Amazon SageMaker AI 现在提供了一种**基于Agent的体验**来改变这一切。开发者只需用自然语言描述用例，AI编码Agent便会简化从用例定义、数据准备到技术选择、评估和部署的整个流程。 ### 核心能力：Agent技能（Agent Skills） **Agent技能**是预构建的模块化指令集，编码了AWS和数据科学在模型定制全生命周期中的深度专业知识。当你描述用例时，AI编码Agent会激活相关技能，引导其完成： - **数据准备与验证**：自动转换数据为所需格式，确保质量。 - **技术选择**：根据用例推荐SFT、DPO或RLVR等微调技术。 - **超参数配置**：提供最佳实践建议。 - **模型评估**：使用LLM-as-a-Judge指标进行质量评估。 - **部署**：灵活部署到Amazon Bedrock或SageMaker AI端点。 这些技能不仅提升了生产力，还**减少了Token消耗**。所有生成的代码完全可编辑，产生可复用的工件，无缝集成到现有工作流中。 ### 定制化与可扩展性 技能完全可定制，你可以修改它们以匹配团队的工作流、治理标准和工具偏好，从而实现可重复的组织最佳实践——这是通用编程助手常见的难题。 ### 集成开发环境 SageMaker AI Studio JupyterLab中集成了Agent开发环境支持（通过ACP）。默认情况下，亚马逊的AI软件Kiro提供了内嵌的Agent体验。 ### 总结 通过Agent引导的工作流，Amazon SageMaker AI 将模型定制的复杂性抽象化，让开发者专注于高价值任务。这不仅加速了实验周期，还降低了技术门槛，使更多团队能够利用专有数据构建差异化AI应用。
Amazon Quick 推出了一项生成式 AI 新功能，允许用户通过自然语言提示自动生成包含多工作表、筛选控件和计算字段的完整分析仪表盘，将原本数小时的手动搭建工作缩短至几分钟。 ## 背景与痛点 传统 BI 仪表盘的创建流程繁琐且耗时。即便是经验丰富的 BI 专业人士，也需要手动配置数据源、拖拽图表、设置筛选器和编写计算字段。对于需要频繁生成运营报告的数据分析师、准备领导层审阅的项目经理，或是探索新数据集的工程师而言，这一过程往往成为效率瓶颈。 ## 核心功能：从提示到仪表盘 Amazon Quick 的新能力直接嵌入到 **Analysis（分析）** 创作界面中。用户只需遵循三个步骤： 1. **选择数据集**：支持选择 1–3 个数据集，可跨表关联（如订单表和产品表）。 2. **描述需求**：用自然语言写出想要分析的内容，例如“创建一个运营仪表盘，展示订单量趋势、收入关键指标和交付绩效对比”。 3. **审查并生成**：系统会先生成一个交互式计划，展示建议的图表布局、筛选器和计算字段（如同比/环比增长），用户可在此阶段调整确认，然后一键生成完整的分析文件，并可直接发布为仪表盘。 ## 技术亮点与用户体验 - **智能图表选择**：系统会根据数据特征自动匹配最合适的可视化类型（如折线图、柱状图、表格等）。 - **多工作表组织**：复杂的业务问题通常需要多维度展示，新功能会自动将分析内容拆分到多个工作表中，逻辑清晰。 - **计算字段自动生成**：常见的 KPI 如 **年同比增长（YoY）** 和 **月环比（MoM）** 无需手动编写公式。 - **筛选控件**：为利益相关者提供按不同维度（如时间、地区、产品类别）探索数据的能力。 ## 适用场景 - **运营报告**：数据团队可快速生成定期报告模板，减少重复劳动。 - **领导层汇报**：管理者可直接用自然语言描述关注指标，即时获得可视化结果。 - **数据探索**：工程师面对新数据集时，无需手动拖拽即可获得初步洞察。 ## 行业影响 这一功能进一步降低了 BI 工具的使用门槛，将 **生成式 AI** 从“聊天机器人”延伸至“生产力工具”。与 Microsoft Power BI 的 Copilot、Tableau 的 Ask Data 等竞品相比，Amazon Quick 的优势在于与 AWS 生态的深度集成（如 Redshift、S3），以及对多数据集关联的原生支持。 对于企业而言，这意味着**数据分析民主化**的加速——业务人员不必依赖数据团队即可自主创建仪表盘，而专业分析师则能将精力集中在更复杂的建模和洞察上。 ## 前提条件 使用该功能需要 **AWS 账户** 和 **Amazon Quick Enterprise Edition** 订阅。 ## 小结 Amazon Quick 的自然语言生成仪表盘功能，不仅提升了效率，更改变了 BI 的交互范式。从“手动搭建”到“对话式创作”，AI 正在重塑数据分析的工作流。对于正在寻求敏捷 BI 解决方案的团队，这无疑是一个值得关注的新选项。
Amazon Quick 近日宣布推出 **Amazon S3 Tables（Apache Iceberg 表）** 作为全新数据源，用户可直接查询和可视化存储在 S3 表桶中的 Iceberg 表，无需中间数据层。这一更新旨在简化现代数据架构，减少数据迁移，提升性能，并为 AI 驱动的分析铺平道路。 ## 背景：分析需求与数据架构的演变 企业正加速将分析与 AI 结合，以更快获得洞察。Amazon Quick 作为统一的分析与决策智能服务，集数据可视化、自然语言交互和代理驱动自动化于一体，让业务用户无需 ML 专业知识即可探索数据。与此同时，现代数据架构正转向基于 **Apache Iceberg** 等开放表格式的可扩展数据湖，以提高性能、降低成本和增强治理。然而，分析大规模数据通常需要将其迁移至数据仓库或 OLAP 系统，这引入了延迟、额外成本和操作复杂性。 ## 新功能：直接连接 S3 Tables Amazon Quick 新增的 **S3 Tables 数据源** 支持 **Direct Query** 和 **SPICE** 两种模式，使用户能够直接消费 S3 表桶中的 Iceberg 表。这为企业提供了一种额外的架构选择，尤其适用于需要减少数据移动、提升性能并维护单一可信数据源的场景。 **主要优势包括：** - **简化架构**：消除对独立数据仓库或 OLAP 层的需求，降低数据管道复杂性。 - **近实时分析**：直接查询数据湖中的最新数据，减少延迟。 - **成本效率**：避免数据迁移和冗余存储的成本。 - **治理与安全**：利用 Iceberg 的开放格式特性，确保数据的一致性和可审计性。 ## 对行业的影响 这一更新反映了 **数据湖与 AI 分析融合** 的趋势。通过将 S3 Tables 作为一等数据源，Amazon Quick 使企业能够更无缝地实现“数据湖即单一事实来源”的愿景。对于正在构建 AI 就绪数据基础架构的组织而言，这意味着可以更快地将原始数据转化为可操作的洞察，同时保持架构的灵活性和可扩展性。 ## 小结 Amazon Quick 与 S3 Tables 的结合，为现代分析提供了一种更直接、高效的路径。无论是用于商业智能报表、实时仪表盘，还是作为 AI 模型的输入数据，这一新数据源都值得企业关注。
商业智能（BI）团队常常面临一个瓶颈：业务用户的问题超出了现有仪表盘的范围，于是提交工单，分析师编写查询、验证结果并交付——整个过程可能需要数小时甚至数天。如果每月有数百个临时请求，积压的工作就会成为数据团队生产力的最大制约。Amazon QuickSight 新增的自然语言查询功能 **Dataset Q&A** 旨在消除这一瓶颈。用户的问题会被自动翻译为 SQL，针对完整数据集运行，并在数秒内返回结果——无需行采样、主题策划或预配置的计算字段。 QuickSight 此前已提供两种自然语言查询模式：**Dashboard Q&A** 针对已发布仪表盘中的可视化数据，依赖作者构建的业务上下文；**Topic Q&A** 更进一步，作者通过业务友好的字段名称和同义词丰富数据模型，使用户能以日常语言查询策划好的字段集。**Dataset Q&A** 则补齐了最后一块拼图：用户可以直接探索任何数据集，突破作者预配置的限制，同时企业级的安全、权限和治理策略仍然得到完全执行。 尽管业界竞相推出文本转 SQL 的演示，但企业 BI 的真正挑战从来不是生成 SQL，而是将模糊的业务语言映射到复杂的数据模式，在每一步执行安全策略，并解释系统做了什么以及为什么这么做。QuickSight 的代理系统正是为此而设计。模型必须解决词汇歧义——例如“volume”是指行数、收入还是出货量？——并将口语化的业务术语映射到数据集中精确的列名和计算上，而无需预定义字典。 在运行任何查询之前，系统会通过一个语义图搜索所有结构化资产（仪表盘、数据集和主题），该图理解资产之间的关联关系。这样，即使你的问题没有使用数据集或列的确切名称，系统也能找到正确的数据源。确定数据源后，系统会查看数据样本值和分布等上下文信息，并结合作者提供的字段描述和业务背景来消除歧义，然后调用三种能力之一来生成查询。 ### 实战用例与能力展示 **自动发现所有数据资产**：当用户提出“上季度各产品线的收入情况”时，系统会自动搜索整个 QuickSight 环境，找到包含收入字段和产品线信息的数据集或仪表盘，无需用户手动导航。 **多数据集交叉查询**：在单次对话中，用户可以询问“比较上个月和本月的客户流失率”，系统会识别需要连接两个不同数据集（客户表和流失事件表），自动生成跨数据集的 JOIN 查询。 **安全与治理不妥协**：所有查询都遵循数据集的行级安全策略和列权限。用户只能看到其有权访问的数据，管理员无需为自然语言查询单独配置安全规则。 ### 技术架构亮点 QuickSight 的文本转 SQL 引擎并非简单的 LLM 调用，而是一个包含多个步骤的代理系统： 1. **意图理解与资产发现**：分析用户问题，通过语义图定位最相关的数据资产。 2. **模式探索与消歧**：采样数据值，读取字段描述，识别同义词，将模糊术语映射到具体列。 3. **SQL 生成与优化**：根据映射结果生成正确的 SQL，包括聚合、过滤、连接等操作。 4. **结果解释**：返回结果时附带自然语言解释，说明查询了什么数据以及如何计算的。 这一架构确保了高准确性和可解释性，避免了“黑箱”查询带来的信任问题。 ### 对 BI 行业的影响 Dataset Q&A 的推出标志着 BI 工具从“可视化驱动”向“对话式分析”迈出了重要一步。过去，自然语言查询往往需要精心策划的语义层或受限于预定义字段，而 Dataset Q&A 允许用户直接探索原始数据集，大幅降低了分析门槛。对于企业而言，这意味着： - 业务人员可以自助获取答案，减少对分析师的依赖。 - 分析师可以专注于更复杂的分析任务，而非重复性的临时查询。 - 数据驱动的决策速度显著提升。 目前该功能已可用，用户可以在 QuickSight 控制台中启用 Dataset Q&A，并开始用自然语言提问。
## 核心痛点：GPU 容量不足导致推理端点部署失败 在生成式 AI 生产环境中，GPU 算力稀缺是常态。过去，用户在 Amazon SageMaker AI 上创建推理端点时，必须指定一个具体的实例类型（如 `ml.p4d.24xlarge`）。如果该实例类型在指定区域或可用区没有足够容量，端点创建就会直接失败，返回 `InsufficientCapacityError`。用户只能手动更换实例类型，反复重试，直到某个类型成功部署——这个过程可能耗费数十分钟甚至更久。 更糟糕的是，**自动扩缩容（Auto Scaling）也会被单一实例类型限制**：当流量增长触发扩容时，如果指定实例类型容量不足，AWS 会不断重试同一个类型，导致端点无法扩容，业务请求被阻塞。缩容时也无法区分“首选实例”和“备用实例”，所有实例被一视同仁对待，缺乏弹性策略的灵活性。 ## 新能力：容量感知实例池（Capacity-Aware Instance Pool） 今天，Amazon SageMaker AI 正式推出了**容量感知实例池**功能，支持在创建新端点或修改现有端点时，定义一个**按优先级排序的实例类型列表**。SageMaker AI 会在创建、扩容和缩容过程中自动遍历这个列表，选择第一个当前有可用容量的实例类型进行部署。 ### 工作原理 - **创建端点时**：系统按优先级顺序尝试实例类型，一旦某个类型有容量，立即使用该类型完成部署。如果所有类型都无容量，则返回明确的错误信息。 - **扩容时**：当自动扩缩容策略触发增加实例时，同样按优先级列表检查容量，优先选择首选类型，若容量不足则自动 fallback 到下一优先级。 - **缩容时**：缩容会优先移除低优先级的实例（即 fallback 实例），保留高优先级的首选实例，从而保持最佳性能配置。 ### 适用场景 该功能适用于 **单模型端点（Single Model Endpoints）**、**基于推理组件（Inference Component）的端点** 以及 **异步推理端点（Asynchronous Inference Endpoints）**。这意味着几乎所有的 SageMaker AI 推理部署场景都能受益。 ## 如何快速上手？ ### 创建新端点 在 AWS 管理控制台、AWS CLI 或 SDK 中创建端点时，在 `ProductionVariants` 或 `InferenceComponents` 配置中，使用新的 `InstanceTypePool` 参数代替原来的 `InstanceType`。例如： ```json { "ProductionVariants": [ { "InstanceTypePool": ["ml.g5.48xlarge", "ml.p4d.24xlarge", "ml.p5.48xlarge"], "InitialInstanceCount": 2 } ] } ``` ### 迁移现有端点 对于已经在运行的端点，可以通过 `UpdateEndpoint` API 或控制台修改端点配置，添加 `InstanceTypePool`。SageMaker AI 会自动执行滚动更新，逐步将现有实例替换为符合新池定义的实例，期间服务不中断。 ## 行业意义：让 AI 基础设施更“弹性” 在 AI 算力紧张的背景下，**容量感知实例池** 实际上将“手动抢资源”的运维负担转移给了云平台。它带来的直接好处包括： 1. **缩短部署时间**：从分钟级的手动重试缩短到秒级的自动 fallback，尤其适合快速迭代的 ML 团队。 2. **提高可用性**：即使首选实例类型缺货，端点也能自动使用次优类型继续运行，避免服务中断。 3. **优化成本**：用户可以将更便宜的实例类型（如 `ml.g5`）作为首选，将高性能但昂贵的实例（如 `ml.p5`）作为备用，在容量充足时优先使用低成本实例，仅在必要时才使用高性能实例。 ## 小结 Amazon SageMaker AI 的容量感知推理功能，是 AWS 回应 GPU 短缺问题的一个务实方案。它不承诺增加物理算力，但通过**智能调度**显著提升了现有资源的利用率和端点的部署成功率。对于正在大规模部署 LLM 或视觉模型的企业来说，这无疑是一个值得立即采用的特性。 > 该功能已在所有 AWS 商业区域上线，无需额外付费。
AWS 近日推出了一项重要更新——**AWS Transform** 现在支持将传统 BI 工具（如 Tableau、Power BI 等）的仪表板、数据集和安全规则**自动迁移至 Amazon QuickSight**，将原本需要数月的迁移周期缩短至数天。 ## 迁移痛点与 AWS Transform 的解法 对于许多企业来说，遗留 BI 系统不仅带来高昂的许可费用，更存在运维负担重、分析效率低、缺乏 AI 能力等核心问题。传统迁移方式需要手动重建数百个仪表板，极易出错且耗时漫长。 AWS Transform 通过 AI 代理（Agent）来自动化这一过程。用户只需在 AWS Transform 中设置迁移工作区，订阅 AWS Marketplace 中的合作伙伴代理（如 Wavicle Data Solutions 的 EZConvertBI），即可开始自动化迁移。这些代理能够识别并转换仪表板中的计算字段、布局、安全规则等关键元素，确保迁移后的报表保持原有业务逻辑。 ## 迁移后的新能力：不仅仅是“搬家” 迁移至 Amazon QuickSight 后，企业可以立即获得以下优势： - **AI 原生分析**：用户可以用自然语言提问，QuickSight 的 AI 能力自动生成答案和可视化。 - **无服务器架构**：无需管理服务器，自动扩展，零运维窗口。 - **亚秒级查询性能**：借助 SPICE 内存引擎，大规模数据查询依然快速。 - **嵌入式分析**：通过 API 将仪表板直接嵌入到现有应用中，提升用户体验。 ## 行业影响与未来展望 AWS Transform 此次扩展至 BI 迁移领域，标志着 AWS 在**企业现代化**战略上的进一步深化。此前该服务已支持大型机应用、Windows/SQL Server 工作负载、VMware 环境及自定义应用的现代化改造。将 BI 迁移纳入其自动化版图，意味着企业可以更高效地完成从传统架构到云原生 AI 平台的全面转型。 对于正面临 BI 工具升级压力的企业来说，这是一个值得关注的信号——**AI 驱动的自动化迁移不再是未来，而是已经可用的现实**。
大语言模型（LLM）的输出常存在不准确、不合规或表述生硬等问题，而**强化微调（RFT）** 正成为解决这些痛点的首选方案。其中，**以LLM为裁判的强化学习（RLAIF）** 凭借其灵活性和可解释性，正逐步取代传统的硬编码奖励函数。本文基于亚马逊Nova模型实践，深入解析RLAIF的实现路径与关键步骤。 ## 为什么选择LLM-as-a-judge？ 传统的强化微调依赖**可验证奖励（RLVR）**，即通过代码规则（如子串匹配）打分，虽然直接但难以捕捉语义细微差别。而**LLM-as-a-judge**（也称RLAIF）则让一个独立的语言模型作为裁判，从**正确性、语气、安全性、相关性**等多个维度对候选输出进行综合评估。这种方法的优势在于： - **灵活性高**：无需为每个任务重新训练裁判模型，可跨领域复用。 - **可解释性强**：裁判会给出具体理由（如“回答A引用了同行评审研究”），帮助开发者快速定位失败模式。 - **减少隐藏偏差**：静态规则容易忽略上下文，而LLM裁判能感知领域特定细节。 ## 实施LLM-as-a-judge的六个关键步骤 ### 1. 选择裁判架构 裁判架构分为两类： - **基于评分标准（Rubric-based）**：按预设维度（如完整性、安全性）逐项打分，最后汇总总分。适合有明确评价指标的任务。 - **基于偏好（Preference-based）**：直接比较两个回答，输出“A优于B”的判断。适合主观性较强的场景，如创意写作。 ### 2. 设计评估提示词 裁判模型的提示词需清晰定义评价维度、评分规则和输出格式。例如，对于客服场景，可要求裁判从“问题解决率”“礼貌程度”“信息准确度”三个维度打分，并输出0-5分。 ### 3. 构建高质量参考数据 虽然RLAIF减少了人工标注需求，但仍需少量人类标注数据作为校准基准，确保裁判评分与人类判断一致。通常需要数百到数千条样本。 ### 4. 训练或微调裁判模型 如果使用通用裁判（如GPT-4），可直接调用API；若需领域定制，可在开源模型（如Llama、Amazon Nova）基础上微调，使其更熟悉特定术语和规范。 ### 5. 迭代优化奖励信号 将裁判评分输入强化学习算法（如PPO），更新主模型参数。关键是要监控奖励信号的稳定性，避免裁判打分出现“模式坍塌”——即一直给高分或低分。 ### 6. 评估与对齐验证 最终需要对比RLAIF微调前后的模型输出，通过人工评估或自动化指标（如BLEU、ROUGE）验证对齐效果。同时检查裁判是否引入新偏见，例如偏爱较长回答或特定措辞。 ## 实践案例：Amazon Nova模型中的RLAIF 亚马逊Nova团队在内部测试中发现，使用LLM-as-a-judge进行强化微调后，模型在**事实准确性**和**安全性**上提升了约30%，同时减少了“幻觉”输出。关键在于裁判模型本身需要与主模型同源或经过校准，否则可能放大偏差。 ## 小结 RLAIF通过“以模型评模型”的方式，大幅降低了强化微调的人工成本，同时保留了多维评估的细腻度。尽管实施步骤较多，但每一步都有成熟工具链支持（如LangChain、RLHF库）。对于追求模型对齐质量且预算有限的团队，这无疑是当前最务实的路径之一。
在生成式AI的生产部署中，大语言模型（LLM）的迁移与升级始终是一项挑战。AWS近日推出的**生成式AI模型敏捷方案**，为这一问题提供了系统化的解决框架。该方案涵盖工具、方法论和最佳实践，旨在帮助开发者在不同LLM之间高效切换，同时确保提示词（prompt）的转换与优化过程稳健可靠。 ## 为何需要模型敏捷方案？ 随着开源模型（如Llama、Mistral）和闭源模型（如GPT-4、Claude）的快速迭代，企业常面临模型替换或升级的需求。传统做法往往需要手动调整大量提示词和微调流程，耗时且易出错。AWS的模型敏捷方案通过**标准化协议**，将提示词转换、性能评估和回滚机制整合为自动化流水线，显著降低迁移风险。 ## 核心组件与工作流 该方案的核心是一套**提示词转换引擎**，它能够分析原始模型上的提示词模式，并自动生成目标模型兼容的版本。例如，当从Llama 2迁移到Mistral时，引擎会调整格式、角色设定和输出约束，而无需人工逐条修改。此外，方案还集成了**自动回归测试**，通过预设的评估数据集对比迁移前后的输出质量，确保性能不降级。 ## 最佳实践与行业意义 AWS推荐采用**分阶段迁移策略**：先在非关键任务上验证，再逐步扩大范围。同时，建议保留旧模型的快照，以便在出现问题时快速回滚。这一方案不仅适用于模型升级，也可用于多模型混合部署——例如，根据任务复杂度动态选择不同规模的模型，以平衡成本与效果。 对于AI团队而言，这意味着更快的迭代速度和更低的试错成本。在LLM生态日益碎片化的今天，AWS的模型敏捷方案为生产环境的模型管理提供了可复用的模板，有望成为生成式AI工程化的重要基石。
In this post, we show how Sun Finance used Amazon Bedrock, Amazon Textract, and Amazon Rekognition to build an AI-powered identity verification (IDV) pipeline. The solution improved extraction accuracy from 79.7% to 90.8%, cut per-document costs by 91%, and reduced processing time from up to 20 hours to under 5 seconds. You'll learn how combining specialized OCR with large language model (LLM) structuring outperformed using either tool alone. You'll also learn how to architect a serverless fraud
现代企业面临从PB级数据湖中提取可操作洞察的挑战，传统分析依赖SQL、数据建模等专业技能，形成决策瓶颈。本文展示如何利用Amazon QuickSight的智能体AI助手，将数据分析转化为自助服务能力。通过集成Amazon S3、SageMaker、AWS Glue、Athena及QuickSight，构建湖仓一体架构，支持用户以自然语言查询结构化与非结构化数据。基于TPC-H数据集演示，该方案在保持企业级安全与治理的同时，实现数据民主化访问。 ## 核心架构与数据流 方案整体设计涵盖以下关键环节： - **数据源与加载**：采用TPC-H基准数据集（托管于公开S3存储桶 `s3://redshift-downloads/TPC-H/2.18/100GB`），通过**Amazon Athena**执行无服务器SQL查询，完成数据提取、转换与加载，并在AWS Glue中创建目录。 - **多格式存储层**：为展示数据湖与湖仓的灵活性，数据以**S3 Table、Iceberg、Parquet**等多种格式保存，Athena可跨格式统一查询。 - **智能分析层**：**Amazon QuickSight**构建仪表盘与对话式AI代理，通过集成知识库（QuickSight Spaces），业务用户可使用自然语言获取洞察，无需技术背景。 ## 行业应用价值 该方案适用于零售、金融、医疗、旅游、制造等数据密集型行业，解决以下痛点： 1. **降低技术门槛**：自然语言接口替代复杂SQL，加速决策。 2. **统一数据访问**：湖仓架构整合结构化与非结构化数据，避免数据孤岛。 3. **安全与治理**：基于AWS IAM与QuickSight权限控制，确保企业级合规。 ## 技术亮点 - **无服务器查询**：Athena按需付费，无需管理基础设施。 - **智能体AI**：QuickSight的Agentic AI可理解上下文，支持多轮对话与复杂分析。 - **多格式兼容**：对Iceberg、Parquet等开放格式的支持，便于与现有数据生态集成。 ## 小结 通过将**Amazon SageMaker**的机器学习能力与Athena、QuickSight的智能分析结合，企业可构建新一代数据驱动应用。该方案不仅提升分析效率，更将数据洞察能力赋予每一位业务用户，推动组织级数据文化变革。