Why your local LLM feels dumber than it is
forum.level1techs.com原文 ↗
论坛实验把参考实现、量化格式、推理后端、提示模板和采样参数拆开比较,解释为何同一权重在本地环境会偏离官方印象。它拒绝用几个 2.58-bit GGUF 提示就下结论,提醒本地评测必须记录运行时与模板,否则所谓“模型变笨”很可能是系统配置差异。
–浏览
forum.level1techs.com原文 ↗
评论 · Comments