Mesh LLM: distributed AI computing on iroh
iroh.computer原文 ↗
iroh 文章介绍把 LLM 推理拆到分布式节点上运行的实验,底层使用 iroh 的点对点网络能力。它探索的是让多个节点共同承担推理,而不是把模型固定在单机或中心化云实例上。真正需要观察的是模型切分、网络延迟、节点发现和失败恢复能否被工程化处理。
–浏览
iroh.computer原文 ↗
评论 · Comments