vllm-project/agentic-api
github.com原文 ↗
Agentic API 是 Rust 原生网关,把 OpenAI 兼容 Responses API、`previous_response_id` 状态恢复、服务端工具和 SSE/WebSocket 流式输出置于 vLLM 之前。SQLite response store 负责持久化,客户端只需一次请求,网关就能完成状态 hydration、工具执行和 continuation;这为自有 GPU 上的 Codex 式工作负载提供了清晰的服务器边界。
–浏览
评论 · Comments