新上线今天0 投票
AWS团队如何利用Amazon Bedrock大规模检测仪表板内容故障
商业智能（BI）仪表板可能静默失败，显示空白、过期或错误的数据，即使所有基础设施监控都报告正常。本文介绍了AWS团队如何构建一个基于Amazon Bedrock的自动化AI驱动内容验证解决方案，该方案同时扫描数百个仪表板并提醒所有者，将平均检测时间从数天缩短至不到一小时。
内容层监控的缺口
传统基础设施监控确保服务运行和API响应，但健康的基础设施并不能保证用户看到的内容是正确的。这种缺口表现为两种不同的问题：静默视觉故障（如空白图表）和数字不一致（如数据错误）。这些故障对用户可见，但传统监控无法捕捉，通常依赖用户报告，而用户报告率不足1%。
五阶段无服务器验证架构
该解决方案采用五阶段无服务器架构，基于AWS托管服务构建。它同时扫描AWS Insights应用程序（由Amazon QuickSight支持）托管的数百个仪表板，检测缺失或错误的元素。架构包括：
- 定期触发扫描
- 捕获仪表板截图
- 使用Amazon Bedrock上的大语言模型（LLM）进行视觉分析
- 验证数字一致性
- 实时提醒构建者
两种并行的AI验证机制
解决方案采用两种并行的AI验证机制，基于相同设计原则：一种用于视觉完整性，另一种用于数字一致性。视觉完整性检查通过分析截图来识别空白或渲染错误的图表；数字一致性检查则验证数据值是否在预期范围内或与源数据匹配。
生产工程经验
在生产环境中，设计时要考虑防止误报，并让LLM远离算术运算。LLM擅长视觉和语义理解，但不适合精确计算，因此数字验证采用独立逻辑或工具，而LLM仅用于判断视觉和上下文的合理性。
结论
该解决方案将平均检测时间从最多72小时缩短至不到1小时，显著提高了仪表板内容的可靠性。随着组织将仪表板数据馈送给AI系统以生成业务报告，内容层验证变得至关重要。AWS团队的经验表明，AI驱动的视觉和语义验证可以弥补传统监控的不足，确保用户看到的内容准确无误。
