Petals

Petals 让志愿节点各自托管大型模型的一部分层，请求沿网络依次通过这些节点完成推理，形成类似 BitTorrent 的分布式模型服务。官网称可运行超过单机显存容量的模型，并支持私有 swarm 与部分训练；代价是互联网延迟、节点波动和隐私边界，使它更像开放研究网络而非低延迟生产端点。