Speculative Pipeline Decoding: Higher-Accruacy and Zero-Bubble Speculation via Pipeline Parallelism
arxiv.org原文 ↗
论文提出用 pipeline parallelism 改造 speculative decoding，减少串行 drafting 延迟。
–浏览
arxiv.org原文 ↗
评论 · Comments