DemandMap - Memory Mapping S3 into Polars on macOS Without FUSE
github.com原文 ↗
DemandMap 试图把 S3 对象伪装成可按需访问的本地内存视图,供 Polars、Arrow、Numpy 这类分析库懒加载读取。它在 macOS 上避免 FUSE,又不要求先把大对象完整下载到本地。这个项目指向数据工程里的一个小但尖锐的问题:列式查询经常只需要文件片段,而对象存储接口默认仍然更像“下载文件”。
–浏览
评论 · Comments