huggingface/datasets

Datasets 以统一 API 处理 CSV、JSON、Parquet、音频、视频、PDF 和 NIfTI，Arrow memory-mapping 减少重复拷贝。Xet 流式读取最高可达约 100 倍加速，并能接 FAISS、Elasticsearch、训练框架和 agent traces，数据准备与大规模迭代因此共享同一抽象。