Kyuubi是网易数帆旗下有数大数据团队开源的一个企业级数据湖探索平台,建立在Apache Spark之上。Kyuubi提供一个高性能的通用JDBC和SQL执行引擎,通过它,用户能够像处理普通数据一样处理大数据。
Kyuubi提供了一个标准化的JDBC接口,在大数据场景下可以方便地进行数据访问。终端用户可以专注于开发自己的业务系统和挖掘数据价值,而无需了解底层的大数据平台(计算引擎、存储服务、元数据管理等)。
Kyuubi拥抱Spark,并在Spark之上构建了一个生态系统,这它使得能够快速扩展现有的生态系统,并引入新的特性,例如云原生支持和Data Lake/Lake House支持。
Kyuubi的愿景是建立在Apache Spark和Data Lake技术之上,统一门户,成为一个理想的数据湖管理平台。它可以以纯SQL的方式支持数据处理(如ETL)和分析(如BI)。所有的工作负载都可以在同一个平台上完成,使用一份数据,一个SQL接口。
Kyuubi系统的基本技术架构如图所示。
项目主页:https://kyuubi.readthedocs.io/
项目链接:https://codechina.csdn.net/kyuubi/kyuubi
欢迎大家在评论区发表对项目的看法和感受。谢谢!
...全文