Alloy
github.com原文 ↗
Alloy 把 Apple Silicon 上的 kernel authoring、`torch.compile` backend 和本地 LLM serving 放在同一项目里。README 描述的编译路径是 Python kernel → tile IR → Metal,覆盖 per-thread scalar kernel、cooperative tiled GEMM、simdgroup MMA 和多 kernel 自动 fusion;服务端则在 `127.0.0.1:11434` 提供兼容 OpenAI、Anthropic、Ollama 的 loopback API。它还列出 warm-prefix KV reuse、on-GPU sampling、xgrammar constrained decoding、tool calling、MoE、vision/audio/embedding 等特性,显示目标不是玩具 backend。
–浏览
评论 · Comments