club-3090
github.com原文 ↗
club-3090 把 vLLM、llama.cpp 和 ik_llama 的多模型配置、补丁与 benchmark 针对 3090/4090/5090 做成硬件感知脚本。`launch.sh` 会按卡数和显存选择 variant,README 给出单卡 32K context 与双卡 262K+视觉路径,并由 `bench.sh` 验证服务是否真正可用。
–浏览
github.com原文 ↗
评论 · Comments