
Filament by Galaxy
getgalaxy.io
终端或代理驱动,快速开源的数据迁移
9天前制作者:fmerian
关于 Filament by Galaxy
Filament by Galaxy 是一款用 Go 语言编写的高性能数据复制引擎,专为现代数据栈设计。它支持全量加载、增量复制和变更数据捕获(CDC),让数据在不同系统间流动变得简单而可靠。
核心功能
Filament 提供三种核心数据同步模式:全量加载用于初始化目标端,增量复制捕获新增数据,CDC 则实时追踪数据变更。引擎在数据移交至目标端时,会验证 Arrow 批次 的完整性,并在目标端支持的情况下校验精确的序列化负载,确保数据一致无误。
主要特性
- 高性能与开源:基于 Go 语言构建,编译为单一二进制文件,部署轻量且运行高效。
- 灵活的运行方式:可作为独立命令行工具使用,也可嵌入到 Go 应用程序中,满足不同集成需求。
- 端到端数据验证:在数据移交时自动校验 Arrow 批次,保障传输质量。
- 多模式复制:覆盖全量、增量和 CDC,适应从批量同步到实时流处理的多种场景。
适用场景
无论是构建数据管道、实现数据库迁移,还是需要实时同步变更数据,Filament 都能提供可靠的基础设施。其开源特性允许开发者自由定制和扩展,是数据工程师和 Go 开发者的理想选择。