Cactus Needle 3
cactuscompute.com原文 ↗
Needle 3 将自动化模型、工具 schema、Pydantic 抽取和正则触发器放进很小的本地运行时。示例输出同时返回调用、推理、置信度、速度和峰值内存,并按 0.1 置信度下限抑制不确定调用;网页给出的 28.5MB 峰值和 850 decode tok/s 是单个示例,不应外推成所有设备的基准。
–浏览
cactuscompute.com原文 ↗
评论 · Comments