Inkling: Our open-weights model

Simon Willison 摘录 Thinking Machines Lab 首个 open-weights 模型 Inkling 的规格。Inkling 是 Mixture-of-Experts transformer，975B total parameters、41B active，Apache-2.0 license，并在 45 trillion tokens 的文本、图像、音频和视频上训练。文章还提到 Inkling-Small 为 276B total、12B active 但仍在测试中，说明 Thinking Machines 同时押注大模型和较小激活成本版本。