Apache Kylin:一款免费开源、高并发、高性能的OLAP引擎
Apache Kylin 是一款高并发、高性能、高智能的大数据分析型数据仓库(OLAP 引擎),能够对万亿条记录进行亚秒级查询,提供低成本的极致数据分析体验。
Apache Kylin 最初由 eBay 创建并开源,并且于 2015 年毕业成为 Apache 软件基金会顶级项目,代码托管在 GitHub:
https://github.com/apache/kylin
核心功能
- 丰富的数据源:支持多种类型的数据源,包括 Hive、Kafka、Iceberg、JDBC 等。
- 多种部署模式:单节点、集群、读写分离部署模式,满足不同应用场景。
- 超快的查询体验:基于先进的预计算 Cube 技术提供亚秒级查询性能。以较低的硬件和开发成本支持大规模、高并发数据分析。
- 模型和索引推荐:基于查询历史自动优化的 SQL 建模和索引优化。更智能、更易上手。
- 内表与 Native 计算引擎:基于内表的更灵活的查询分析。将 Apache Gluten 作为 Native 计算引擎,带来 2x 性能提升。
- 强大的数仓能力:先进的多维分析,大量 SQL 函数。支持连接不同的 BI 工具,如 Tableau/Power BI/Excel。
- 流批融合分析:新设计的流批融合模型能力,将数据分析延迟降低到秒级。支持融合分析与批量数据,带来更准确的、更可靠结果。
- 全新 Web UI:新建模流程简洁,允许用户在单个画布上定义表关系、维度和度量。
- 企业级特性:支持 LDAP/SSO 集成、项目级别的访问控制、系统监控、审计日志等安全特性。
- Rest API:提供各种 Rest API,支持查询执行、任务调度,方便第三方系统集成。
下载安装
如果想要在本地体验 Apache Kylin,可以使用 Dcoker 部署单机版:
docker run -d \--name Kylin5-Machine \--hostname localhost \-e TZ=UTC \-m 10G \-p 7070:7070 \-p 8088:8088 \-p 9870:9870 \-p 8032:8032 \-p 8042:8042 \-p 2181:2181 \apachekylin/apache-kylin-standalone:5.0.2-GA
启动服务之后,通过以下地址访问 Web 界面:
http://localhost:7070/kylin/
默认的用户名和密码为 ADMIN/KYLIN。
完整的部署模式可以参考:
https://kylin.apache.org/zh-Hans/docs/deployment/intro
总结
Apache Kylin 采用“空间换时间”的预计算思想,为超大规模数据集提供 SQL 查询接口和多维分析(OLAP)能力,并且能实现亚秒级的查询响应速度。