magnitudedev/magnitude

magnitude 探测本地硬件后推荐、下载、量化和调优模型，再向多个 coding agent 暴露统一推理接口。按需装卸、speculative decoding 和 tokens/s 预估把显存调度从 agent 配置中集中出来，离线运行也保留了隐私边界。