【杂谈】-探索 NVIDIA Dynamo 的高性能架构

探索 NVIDIA Dynamo 的高性能架构

随着人工智能（AI）技术的迅猛发展，对高效且可扩展的推理解决方案的需求急剧上升。随着企业致力于快速运行模型以进行实时预测，AI 推理的重要性预计将迅速超越训练。这一转变突显了对强大基础架构的需求，以便以最小的延迟处理海量数据。

推理在自动驾驶汽车、欺诈检测和实时医疗诊断等行业中扮演着至关重要的角色。然而，推理也面临着独特的挑战，特别是在扩展以满足视频流、实时数据分析和客户洞察等任务的需求时。传统的人工智能模型难以高效地处理这些高吞吐量任务，常常导致高昂的成本和延迟。随着企业扩展其人工智能能力，他们需要能够管理大量推理请求的解决方案，而不会牺牲性能或增加成本。

NVIDIA Dynamo应运而生。Dynamo 于 2025 年 3 月推出，是一个全新的 AI 框架，旨在应对大规模 AI 推理的挑战。它帮助企业加速推理工作负载，同时保持强大的性能并降低成本。Dynamo 基于 NVIDIA 强大的 GPU 架构构建，并与 CUDA、TensorRT 和 Triton 等工具集成，正在改变企业管理 AI 推理的方式，使各种规模的企业都能更轻松、更高效地管理 AI 推理。

1. 大规模人工智能推理的日益严峻的挑战

AI 推理是利用预先训练的机器学习模型根据真实世界数据进行预测的过程，对于许多实时 AI 应用至关重要。然而，传统系统往往难以应对日益增长的 AI 推理需求，尤其是在自动驾驶汽车、欺诈检测和医疗诊断等领域。

受快速、现场决策需求的驱动，实时 AI 的需求正在快速增长。Forrester 于 2024 年 5 月发布的一份报告发现，67% 的企业将生成式 AI 融入其运营，凸显了实时 AI 的重要性。推理是许多 AI 驱动任务的核心，例如帮助自动驾驶汽车快速决策、检测金融交易中的欺诈行为，以及协助医学诊断（例如分析医学影像）。

尽管需求如此巨大，传统系统仍难以处理如此大规模的任务。其中一个主要问题是 GPU 的利用率不足。例如，许多系统的 GPU 利用率仍然保持在 10% 到 15% 左右，这意味着大量的计算能力未得到充分利用。随着 AI 推理工作负载的增加，内存限制和缓存抖动等额外挑战也随之而来，这些挑战会导致延迟并降低整体性能。

实现低延迟对于实时 AI 应用至关重要，但许多传统系统难以跟上，尤其是在使用云基础架构时。麦肯锡的一份报告显示，70% 的 AI 项目由于数据质量和集成问题而未能实现其目标。这些挑战凸显了对更高效、更可扩展的解决方案的需求；而这正是 NVIDIA Dynamo 的用武之地。

2. 使用 NVIDIA Dynamo 优化 AI 推理

NVIDIA Dynamo 是一个开源模块化框架，用于优化分布式多 GPU 环境中的大规模 AI 推理任务。它旨在解决生成式 AI 和推理模型中的常见挑战，例如 GPU 利用率不足、内存瓶颈以及请求路由效率低下。Dynamo 将硬件感知优化与软件创新相结合来解决这些问题，为高需求 AI 应用提供更高效的解决方案。

Dynamo 的关键特性之一是其分解式服务架构。该方法将计算密集型的预填充阶段（处理上下文）与解码阶段（涉及令牌生成）分离。通过将每个阶段分配到不同的 GPU 集群，Dynamo 可以实现独立的优化。预填充阶段使用高内存 GPU 来加快上下文提取速度，而解码阶段则使用延迟优化的 GPU 来实现高效的令牌流传输。这种分离提高了吞吐量，使 Llama 70B 等模型的速度提高了一倍。

Dynamo 包含一个 GPU 资源规划器，可根据实时利用率动态调度 GPU 分配，优化预填充和解码集群之间的工作负载，以防止过度配置和空闲周期。另一个关键特性是键值（KV）缓存感知智能路由器，它确保传入请求被定向到持有相关键值（KV）缓存数据的 GPU，从而最大限度地减少冗余计算并提高效率。此功能对于生成比标准大型语言模型更多 token 的多步推理模型尤其有益。

NVIDIA 推理传输库（NIXL）是另一个关键组件，它支持 GPU 与 HBM 和 NVMe 等异构内存/存储层之间的低延迟通信。此功能支持亚毫秒级的键值缓存检索，这对于时间敏感型任务至关重要。分布式键值缓存管理器还可以将不常访问的缓存数据卸载到系统内存或 SSD，从而释放 GPU 内存用于活跃计算。这种方法可将整体系统性能提升高达 30 倍，尤其适用于像 DeepSeek-R1 671B 这样的大型模型。

NVIDIA Dynamo 集成了 NVIDIA 的完整堆栈，包括 CUDA、TensorRT 和 Blackwell GPU，同时支持 vLLM 和 TensorRT-LLM 等常用的推理后端。基准测试显示，在 GB200 NVL72 系统上，DeepSeek-R1 等模型的每 GPU 每秒令牌数最高可提高 30 倍。

作为 Triton 推理服务器的继任者，Dynamo 专为需要可扩展、经济高效的推理解决方案的 AI 工厂而设计。它有利于自主系统、实时分析和多模型代理工作流。其开源和模块化设计也使其易于定制，从而能够适应各种 AI 工作负载。

3. 实际应用和行业影响

NVIDIA Dynamo 已在实时 AI 推理至关重要的各个行业展现出其价值。它增强了自主系统、实时分析和 AI 工厂，从而支持高吞吐量 AI 应用。

像 Together AI 这样的公司已经使用 Dynamo 来扩展推理工作负载，在 NVIDIA Blackwell GPU 上运行 DeepSeek-R1 模型时，容量提升高达 30 倍。此外，Dynamo 的智能请求路由和 GPU 调度功能可提高大规模 AI 部署的效率。

4. 竞争优势：Dynamo 与其他方案对比

与 AWS Inferentia 和 Google TPU 等替代方案相比，NVIDIA Dynamo 具有显著优势。它旨在高效处理大规模 AI 工作负载，优化 GPU 调度、内存管理和请求路由，从而提升跨多 GPU 的性能。与 AWS 云基础设施紧密相关的 AWS Inferentia 不同，Dynamo 同时支持混合云和本地部署，从而提供灵活性，帮助企业避免供应商锁定。

Dynamo 的优势之一是其开源模块化架构，允许企业根据自身需求定制框架。它优化了推理过程的每个步骤，确保 AI 模型平稳高效地运行，同时充分利用可用的计算资源。Dynamo 注重可扩展性和灵活性，非常适合寻求经济高效 AI 推理解决方案的企业。

5. 总结

NVIDIA Dynamo 正在通过提供可扩展且高效的解决方案来应对企业在实时 AI 应用方面面临的挑战，从而改变 AI 推理的世界。其开源和模块化设计使其能够优化 GPU 使用率、更好地管理内存并更有效地路由请求，使其成为大规模 AI 任务的理想之选。通过分离关键进程并允许 GPU 动态调整，Dynamo 可以提升性能并降低成本。

与传统系统或竞争对手不同，Dynamo 支持混合云和本地部署，为企业提供更大的灵活性，并减少对任何提供商的依赖。NVIDIA Dynamo 凭借其卓越的性能和适应性，为 AI 推理树立了全新标准，为企业提供先进、经济高效且可扩展的 AI 解决方案。