Batchlane
github.com原文 ↗
Batchlane 用统一 Python/CLI 接口提交异步 LLM 批处理,按供应商上限切分、轮询并按输入顺序合并结果,失败行返回 `None`。目前列出八个 adapter,但只有 Anthropic 做过 live end-to-end 验证,其余是契约 mock;checkpoint 先记录意图再保存 handle,可续接相同请求但不保证 exactly-once,也不会强制预算。它把窗口、保留期、取消能力和无折扣 lane 的限制直接暴露出来,适合作为批量调度薄层而非可靠队列的替代品。
–浏览
评论 · Comments