role-model
github.com原文 ↗
role-model 是 capability-aware AI routing 的开放协议和参考 router,用于把请求路由到合适的本地或云端模型。README 把路由决策拆成 request needs、endpoint profile、routing policy 和 observability artifacts 四层,并支持本地/本地、本地/云、云/云三种部署形态。它还能作为 Pi provider 接入,默认连接本地 runtime `http://127.0.0.1:3456`,并对 remote endpoint 采取显式信任与 fail-closed 的处理。该项目的重点不只是“按价格选模型”,而是把能力、预算、延迟、策略和决策理由都放进可移植合同里。
–浏览
评论 · Comments