国产数据湖。

dmetasoul01 45dbb89e2b code format 2 weeks ago
doc cab0ff9437 add wechat and slack contacts 6 months ago
docker 4872054568 expose pg port to host in docker-compose 2 weeks ago
examples 9f97d64768 fix link 5 months ago
javadoc e6ce7f2e00 fix javadoc generation 2 months ago
lakesoul-common 1ecb44fe56 code cleanup 2 weeks ago
lakesoul-flink 45dbb89e2b code format 2 weeks ago
lakesoul-spark 45dbb89e2b code format 2 weeks ago
python 555ad0836e first commit 9 months ago
script a9a36c6fc9 replace Cassandra with PG DB info #62 1 month ago
.dockerignore a9ca9544d0 bump version to 2.0.0 2 months ago
.gitattributes a7ff64ad54 add a cdc sink example 6 months ago
.gitignore d52e180e7f refine code 2 months ago
LICENSE 981214ac0d Update LICENSE 2 months ago
README-CN.md ebcf6e7b75 update readme 2 months ago
README.md 16c4b139b3 Update Roadmap 3 weeks ago
community-guideline-cn.md 86fee463df add community guideline docs 3 months ago
community-guideline.md c5b605b03c add community guidelines. 3 months ago
community-roles-cn.md 86fee463df add community guideline docs 3 months ago
community-roles.md c5b605b03c add community guidelines. 3 months ago
pom.xml 2e021e8f22 add docker compose for local test. fix maven install gpg signing 1 month ago
setup.py 555ad0836e first commit 9 months ago

README-CN.md

LakeSoul

LakeSoul 是由 DMetaSoul 研发的构建于 Apache Spark 引擎之上的流批一体表存储框架,具备高可扩展的元数据管理、ACID 事务、高效灵活的 upsert 操作、Schema 演进和批流一体化处理。 LakeSoul 架构

LakeSoul 专门为数据湖云存储之上的数据进行行、列级别增量更新、高并发入库、批量扫描读取做了大量优化。云原生计算存储分离的架构使得部署非常简单,同时可以以很低的成本支撑极大的数据量。LakeSoul 通过 LSM-Tree 的方式在哈希分区主键 upsert 场景支持了高性能的写吞吐能力,在 S3 等对象存储系统上可以达到 30MB/s/core。同时高度优化的 Merge on Read 实现也保证了读性能。LakeSoul 通过 PostgreSQL 来管理元数据,实现元数据的高可扩展性和事物操作。

更多特性和其他产品对比请参考:特性介绍

使用文档

使用文档

快速开始

CDC 入湖示例 : 提供了一个 MySQL + Debezium + Kafka 将在线数据库表通过 CDC 方式实时摄入 LakeSoul 表的示例。

特性路线

Feature Roadmap

社区准则

社区准则

问题反馈

欢迎提 issue、discussion 反馈问题。

微信公众号

欢迎关注 元灵数智 公众号,我们会定期推送关于 LakeSoul 的架构代码解读、端到端算法业务落地案例分享等干货文章:

元灵数智公众号

LakeSoul 开发者社区微信群

欢迎加入 LakeSoul 开发者社区微信群,随时交流 LakeSoul 开发相关的各类问题:请关注公众号后点击下方 "了解我们-用户交流" 获取最新微信群二维码。

联系我们

发送邮件至 opensource@dmetasoul.com.

开源协议

LakeSoul 采用 Apache License v2.0 开源协议。