Michael-A-Kuykendall/shimmy

Shimmy 是纯 Rust WebGPU 推理引擎，提供 OpenAI API compatible 接口，原生支持 GGUF，并以 single binary、无 Python、无 llama.cpp 为卖点。它面向的是本地或边缘模型服务的另一条路线：使用 WebGPU 抽象跨 GPU，减少 Python runtime 和复杂依赖，同时保留 OpenAI API 兼容层给上层应用。它适合那些想把本地 GGUF 模型暴露成标准 chat/completions 接口的开发者。它的成败会取决于模型覆盖、性能稳定性和 WebGPU 后端成熟度。