jundot/omlx

oMLX 是 Apple Silicon 本地推理服务器，连续批处理配合分层 KV cache，并由 macOS 菜单栏管理模型与服务。它把 SSD 当作冷 KV 层来缓解长上下文/多并发的内存压力，仓库同时提供配置、模型、benchmark 与桌面入口，定位比单纯 MLX wrapper 更完整。