indic-modernBERT
github.com原文 ↗
README 给出 22 层、8192 context 和新的 Hindi BPE;在 NER 上 F1 为 0.8001,MASSIVE 为 0.4731,检索任务在 DPR 之后最强。数据配方把 Sangraha 23.6B 与 IndicCorp V2 4.85B token 合并,展示了专门化语料对编码器能力的直接影响。
–浏览
github.com原文 ↗
评论 · Comments