AI At Home Part 2: Multi-GPU Drifting

作者在四张 AMD V620 32GB、PCIe 3.0 且多为 x8 的家用机器上实测层并行和张量切分。Gemma 从单卡约 19 - 20 token/s 降到双卡 15 - 16、四卡 12 - 13；DeepSeek 284B-A13B 2-bit 则经单卡放置、批处理和上下文配置调优，才从 9 - 10 提到界面约 19 - 20、基准 22。最有用的结论是多卡先扩容量、未必扩速度，低速互联会让张量并行比串行分层更差。