11月11日 NVIDIA 推出的 AI Blueprint：可以帮你观看数小时的视频并提供摘要

NVIDIA 推出的 AI Blueprint ， 这是一套用于构建视觉AI代理的框架，帮助开发者构建视频理解和摘要功能的解决方案。

AI Blueprint利用生成式AI、视觉语言模型（VLM）和大语言模型（LLM）实现对长视频的搜索、问答和实时事件检测等功能。

通过这个 Blueprint，用户可以轻松构建视频搜索和摘要智能体，利用 AI 技术生成对超长视频内容的概述、回答问题以及检测实时事件。

如何实现视频摘要：

1. 视频分段：Blueprint 将长视频自动分成小片段，确保每个片段都能准确捕捉到关键内容。
2. 片段分析：每个片段会由视觉语言模型进行分析，生成详细的文字描述或标签，记录视频中的事件、物体和动作。
3. 内容汇总：这些片段描述随后会通过大语言模型汇总，去除重复信息，生成一个全面而简洁的摘要。

适用场景：

比如，你有几个小时的监控视频或会议录像，Blueprint 可以帮助快速总结其中的主要事件、关键对话和重要时刻，而不需要你逐帧观看。

这使得 Blueprint 特别适合用于需要监控和回顾长时间视频的场景，如安全监控、教育视频回顾和客户服务记录等。

主要功能介绍

1. 视频摘要生成：
   • 上传视频后，系统自动生成内容摘要。用户可以使用自定义的提示语，告诉系统需要关注哪些对象、事件或动作，从而生成更加精确的摘要。
   • 配置选项包括：
     • 片段长度（chunk duration）：视频分割的每段长度。片段越小，描述越精细，但处理时间会增加。
     • 片段重叠（chunk overlap）：增加片段之间的重叠区域，以确保视频中的重要事件不会被遗漏。
2. 互动式问答：
   • 系统会构建一个知识图谱，可以支持用户在视频分析完成后进行自然语言问答。例如，用户可以询问“某物体什么时候出现在画面中？”系统会基于知识图谱提供答案。
   • 这个功能使得用户无需逐帧浏览视频，便可快速找到关键信息。
3. 实时流媒体监控与警报：
   • 在处理实时视频流时，系统允许用户设置警报规则。例如，可以设置摄像头监控森林区域，并在检测到动物或火灾时发出警报。
   • 用户可以用自然语言定义警报条件，系统实时监控视频流，一旦满足条件便会发送通知。

NVIDIA AI Blueprint 的核心组件

1. 视频流处理器（Stream Handler）：
   • 将长视频或实时视频分割为较小的片段，每个片段的长度可配置。
   • 使用 NVIDIA 的 VLM（视觉语言模型）分析每个视频片段并生成高密度的描述。这一过程通过 GPU 加速，提升了处理效率。
2. 视觉语言模型（VLM）与 CA-RAG 模块：
   • VLM 管道：VLM 用于处理视频片段，生成关于每个片段的详细描述。这个过程包含对视频帧的采样、解码和描述生成。
   • CA-RAG（上下文感知检索增强生成）：将所有片段描述聚合成一个完整的摘要。CA-RAG 帮助提升摘要的准确性，使整个视频的内容更加连贯和完整。
3. 知识图谱与 Graph-RAG 模块：
   • 知识图谱会将视频内容中的信息转化为“节点”和“边”的形式，存储在图数据库中。
   • 通过 Graph-RAG 技术，智能体可以理解视频中复杂的事件关系，使问答和实时检测更加准确。例如，系统可以追踪视频中的某一物体或事件的完整发展过程。

工作流程概览

简单来说，Blueprint 将长视频分成多个小片段，通过视觉语言模型（VLM）逐一分析片段内容，再由大语言模型（LLM）将这些片段的描述汇总成简明扼要的总结。

1. 视频处理与分析：
   • 系统首先将视频文件或实时视频流分成多个小片段，每个片段会独立处理，生成密集描述（例如，场景中的物体、人物或事件等）。
   • 对于长视频，系统采用滑动窗口的方式，确保每个片段都覆盖到关键内容。
2. 数据聚合与摘要生成：
   • 在片段分析完成后，CA-RAG 模块将所有片段的描述整合生成一个总结，确保视频摘要连贯准确。
   • 用户可以选择合适的摘要长度和细节级别，根据需求调整摘要的精细程度。
3. 知识图谱构建：
   • 系统将视频描述信息以节点和边的形式存储在图数据库中，建立知识图谱。这种结构化信息可以帮助系统进行复杂问答和关系追踪。
   • Graph-RAG 模块允许系统在用户提出问题时查询知识图谱，为互动式问答提供准确答案。

应用场景和优势

1. 工业监控：在工厂、仓库等场景中，NVIDIA AI Blueprint 可帮助监控设备状态，检测潜在风险。
2. 交通监控：在交通枢纽或交叉路口，系统可以检测异常事件，帮助管理交通流量。
3. 安全监控：在安保场景下，系统可以监测实时视频流，及时发出安全警报，提升安防能力。

开发者支持与集成方式

NVIDIA AI Blueprint 提供 REST API，可以轻松集成到现有应用中。API 支持摘要、问答、实时警报等功能，用户可以根据需求进行配置。参考 UI 也提供快速实验环境，便于开发者调整各项配置。

总体而言，NVIDIA AI Blueprint 通过整合 VLM、LLM 和知识图谱技术，帮助企业用户高效提取视频中的关键信息，在多个行业中实现更智能的视频分析和自动化监控。

官方介绍：https://developer.nvidia.com/blog/build-a-video-search-and-summarization-agent-with-nvidia-ai-blueprint

在线体验：https://build.nvidia.com/nvidia/video-search-and-summarization