Marin

Marin 以开放开发记录基础模型从数据整理、过滤、tokenization 到预训练、后训练和评测的全过程，失败实验也进入公开记录。当前主线是从零训练总参数超过 500B、计算量约 5e24 model-FLOPs 的 MoE，Delphi scaling suite 将配方从 3e18 扩到 1e23 FLOPs并用小模型预测大模型。平台还被用于 audio-text、DNA 和 protein 模型，强调过程知识与可复现实验而非只发权重。