How We Pushed CDC into Postgres
snowflake.com原文 ↗
Snowflake 的 Data Mirroring 在 Postgres 侧扩展读取 WAL,把 snapshot、DDL、DML 和 schema 变化按事务批次推入 Iceberg change/meta logs,再在 Snowflake 侧事务性 apply。由于插入以追加而非逐行 upsert,insert-heavy workload 成本更低;live view 在低频 apply 时仍可把延迟压到一分钟以内。核心工程判断是让 producer 知道自己的事务状态,外部连接器不再猜。
–浏览
评论 · Comments