PrismML-Eng/Bonsai-demo
github.com原文 ↗
Bonsai-demo 展示如何在 Metal、CUDA、Vulkan、ROCm 或 CPU 后端运行 Bonsai 低比特语言模型,提供跨硬件推理入口。仓库的重点是模型格式、运行时适配与演示,而不是完整训练框架。多后端支持使低比特模型更容易在边缘设备验证,不过不同平台的算子覆盖和性能一致性仍需实测。
–浏览
github.com原文 ↗
评论 · Comments