BaseRT: Advancing Best-in-Class LLM Inference with Apple M5 Neural Accelerators

BaseRT 是面向 Apple M5 的原生 LLM 推理运行时，利用 Metal 4 和 GPU 核心内的神经加速单元，而非简单移植 CUDA 风格执行栈。系统围绕算子融合、内存布局和设备内调度重写关键路径，以降低统一内存架构下的数据搬运成本。它提供了观察消费级 Apple 芯片上专用矩阵硬件是否能形成独立推理生态的早期样本。