Fusion-runtime
github.com原文 ↗
Fusion Runtime 将 STT、LLM、TTS 在单进程中串成流式管线,支持句中打断;RTX 3090 加 7B 模型的实测约为 991ms 从最后音节到响应、127 token/s。一个 Python 文件即可声明模型和 turn 参数,`frun` 负责精确拉模型与启动,适合自托管语音 agent 原型。
–浏览
github.com原文 ↗
评论 · Comments