14× faster embeddings: how we rebuilt the ONNX path in Manticore
manticoresearch.com原文 ↗
Manticore Search 介绍重建 ONNX embedding 路径后获得 14 倍加速。优化集中在推理管线本身,包括减少数据转换、改进批处理和让向量生成更贴近搜索引擎执行模型。它提醒工程团队,embedding 性能不只由模型决定,周围的数据路径和执行器同样可能是主要瓶颈。
–浏览
评论 · Comments