[AlexsJones/llmfit](https://github.com/AlexsJones/llmfit) - llmfit 读取本机 RAM、CPU、GPU/VRAM 和后端,给数百模型按内存适配、速度、质量、上下文排序,并支持 MoE、多 GPU 和多种本地 runtime。`bench` 会测真实 tok/s/TTFT,社区提交的测量还能替换估计值;这使“哪个模型能在我的机器上跑”从参数表问题变成可复验的硬件测量。
github.com原文 ↗
–浏览
评论 · Comments