My local model setup on an M4 Pro Mac Mini
lws.io原文 ↗
这套 48GB M4 Pro Mac mini 以 Qwen3.6-35B-A3B-OptiQ-4bit 负责深度推理、Gemma-4-E4B-it-OptiQ-4bit 处理轻任务,oMLX 服务模型、Tailscale 串起 MacBook 与 iPhone。作者称 4-bit 在多数 benchmark 仅比 BF16 低 1 - 2 分,却把需求从约 70GB 压到 48GB;磁盘 KV cache 让 coding agent 重用旧前缀而不必重算。
–浏览
评论 · Comments