当前位置：首页 > news >正文

在 Ray Data 和 Ray Serve 中推出原生 LLM API

news 2025/9/4 11:07:28

https://www.anyscale.com/blog/llm-apis-ray-data-serve 译文

一、引言

2025年4月2日，我们激动地宣布在 Ray Data 和 Ray Serve 中为 LLM 推理提供原生 API。

随着 LLM 在现代 AI 基础设施部署中变得越来越核心，平台需要能够高效地部署和扩展这些模型。虽然 Ray Data 和 Ray Serve 很适合快速部署和扩展这些模型，但开发人员必须编写大量冗余代码才能利用这些库来扩展 LLM 应用程序。

在 Ray 2.44 中，我们正式发布 Ray Data LLM 和 Ray Serve LLM。
Ray Data LLM 提供用于现有 Ray Data pipeline 中对 LLM 进行离线批量推理的 API。
Ray Serve LLM 提供用于 Ray Serve 应用程序中为在线推理部署 LLM 的 API。

这两个模块均支持与 vLLM 和 OpenAI 兼容的endpoint的无缝集成。

二、Ray Data LLM

ray.data.llm 模块与关键的大型语言模型（LLM）推理引擎和已部署模型集成，以实现 LLM 批量推理。

Ray Data LLM 旨在解决开发人员在批量推理过程中遇到的几个常见痛点：

我们发现许多用户正在为高吞吐量的批量推理构建临时解决方案。这些解决方案一般需要启动多个在线推理服务器，并构建额外的代理/负载均衡工具来最大化吞吐量。为了解决这个问题，我们希望利用 Ray Data 并利用其预先构建的分布式数据加载和处理功能。
我们发现用户常将批量数据发送至现有推理服务器。为了解决这个问题，我们希望确保用户可以将其数据pipeline与 OpenAI 兼容的 API endpoint集成，并为用户提供灵活的模板化查询功能，以便向服务器发送查询。
我们观察到用户正在将大型语言模型（LLMs）集成到现有的 Ray Data pipeline中（链接 LLM 后处理阶段）。为了解决这个问题，我们希望确保该 API 与现有的惰性加载和函数式的 Ray Data API 兼容。

在使用 Ray Data LLM时，用户可以创建一个 Processor 对象，该对象可以对 Ray Data Dataset 进行调用，并返回一个 Ray Data Dataset。其中该 Processor 对象将包含如下配置：

提示词和模板
OpenAI 兼容的采样参数，这些参数可以按行进行指定
vLLM 引擎配置（如果适用）

import ray
from ray.data.llm import vLLMEngineProcessorConfig, build_llm_processor
import numpy as np
config = vLLMEngineProcessorConfig(model="meta-llama/Llama-3.1-8B-Instruct",engine_kwargs={"enable_chunked_prefill": True,"max_num_batched_tokens": 4096,"max_model_len": 16384,},concurrency=1,batch_size=64,
)
processor = build_llm_processor(config,preprocess=lambda row: dict(messages=[{"role": "system", "content": "You are a bot that responds with haikus."},{"role": "user", "content": row["item"]}],sampling_params=dict(temperature=0.3,max_tokens=250,)),postprocess=lambda row: dict(answer=row["generated_text"],**row  # This will return all the original columns in the dataset.),
)
ds = ray.data.from_items(["Start of the haiku is: Complete this for me..."])
ds = processor(ds)
ds.show(limit=1)

在上面这个特定示例中，Processor 对象将：

执行必要的预处理和后处理，以正确处理 LLM 的输出。
根据指定的并发度和提供的引擎配置，实例化并配置多个 vLLM 副本。这些副本本身也可以进一步分布式部署。
通过利用 Ray 中的异步 actor 持续为每个副本提供数据，以利用连续批处理并最大化吞吐量。
调用各种 Ray Data 方法（map、map_batches），这些方法可以在执行过程中由 Ray Data 将他们与pipeline中的其他预处理阶段进行融合和优化。

正如您所见，Ray Data LLM 可以轻松简化在您现有数据pipeline中使用 LLM 的过程。更多详情请参阅文档。

三、Ray Serve LLM

Ray Serve LLM API 允许用户使用熟悉的 Ray Serve API 同时部署多个 LLM 模型，同时兼容 OpenAI API

Ray Serve LLM 的设计具有以下特点：

自动扩展和负载均衡
统一的多节点多模型部署
OpenAI 兼容性
支持多 LoRA 模型并共享基础模型
与推理引擎（从 vLLM 开始）的深度集成
可组合的多模型 LLM 管道

尽管 vLLM 在过去一年中发展迅速，但我们观察到越来越多的用户开始利用Ray Serve部署vLLM以支持多个模型，并构建更复杂的pipeline。

对于生产部署，Ray Serve + vLLM 可以绝佳的互补。

vLLM 提供了一个简单的抽象层，能够以高吞吐量和低延迟的方式支持数百个不同的模型。然而，vLLM 仅负责单个模型实例，而在生产部署中，通常需要一个编排层，以便能够自动扩展、处理不同的微调适配器、处理分布式模型并行，以及构建可能非常复杂的多模型复合 AI pipeline。

Ray Serve 的构建旨在弥补 vLLM 在扩展和生产化方面的不足。Ray Serve 提供：

用于自动扩展的 Pythonic 风格API
内置对模型复用的支持
提供一种 Python 风格的、命令式的方式来编写复杂的多模型/部署管道
通过利用 Ray，为分布式模型并行提供了一流的支持。

以下是一个简单示例，演示如何使用 Ray Serve 在本地计算机上部署一个 Qwen 模型，该计算机配备两块GPU并连接至与OpenAI兼容的路由器，然后使用 OpenAI 客户端对其进行查询。

from ray import serve
from ray.serve.llm import LLMConfig, LLMServer, LLMRouterllm_config = LLMConfig(model_loading_config=dict(model_id="qwen-0.5b",model_source="Qwen/Qwen2.5-0.5B-Instruct",),deployment_config=dict(autoscaling_config=dict(min_replicas=1, max_replicas=2,)),# Pass the desired accelerator type (e.g. A10G, L4, etc.)accelerator_type="A10G",# You can customize the engine arguments (e.g. vLLM engine kwargs)engine_kwargs=dict(tensor_parallel_size=2,),
)# Deploy the application
deployment = LLMServer.as_deployment(llm_config.get_serve_options(name_prefix="vLLM:")).bind(llm_config)
llm_app = LLMRouter.as_deployment().bind([deployment])
serve.run(llm_app)

然后使用 OpenAI Python API 对其进行查询：

from openai import OpenAI# Initialize client
client = OpenAI(base_url="http://localhost:8000/v1", api_key="fake-key")# Basic chat completion with streaming
response = client.chat.completions.create(model="qwen-0.5b",messages=[{"role": "user", "content": "Hello!"}],stream=True
)for chunk in response:if chunk.choices[0].delta.content is not None:print(chunk.choices[0].delta.content, end="", flush=True)

更多详情请访问文档

Ray Serve LLM 也可以通过使用 KubeRay 在 Kubernetes 上进行部署。更多详情请参阅Ray Serve production guide。