join|ClickHouse vs StarRocks选型对比
面向列存的DBMS新的选择
Hadoop从诞生已经十三年了 , Hadoop的供应商争先恐后的为Hadoop贡献各种开源插件 , 发明各种的解决方案技术栈 , 一方面确实帮助很多用户解决了问题 , 但另一方面因为繁杂的技术栈与高昂的维护成本 , Hadoop也渐渐地失去了原本属于他的市场 。 对于用户来说 , 一套高性能 , 简单化 , 可扩展的数据库产品能够帮助他们解决业务痛点问题 。 越来越多的人将目光锁定在列存的分布式数据库上 。
ClickHouse简介
ClickHouse是由俄罗斯的第一大搜索引擎Yandex公司开源的列存数据库 。 令人惊喜的是 , ClickHouse相较于很多商业MPP数据库 , 比如Vertica , InfiniDB有着极大的性能提升 。 除了Yandex以外 , 越来越多的公司开始尝试使用ClickHouse等列存数据库 。 对于一般的分析业务 , 结构性较强且数据变更不频繁 , 可以考虑将需要进行关联的表打平成宽表 , 放入ClickHouse中 。
相比传统的大数据解决方案 , ClickHouse有以下的优点:
·配置丰富 , 只依赖与Zookeeper
·线性可扩展性 , 可以通过添加服务器扩展集群
·容错性高 , 不同分片间采用异步多主复制
·单表性能极佳 , 采用向量计算 , 支持采样和近似计算等优化手段
·功能强大支持多种表引擎
StarRocks简介
StarRocks是一款极速全场景MPP企业级数据库产品 , 具备水平在线扩缩容 , 金融级高可用 , 兼容MySQL协议和MySQL生态 , 提供全面向量化引擎与多种数据源联邦查询等重要特性 。 StarRocks致力于在全场景OLAP业务上为用户提供统一的解决方案 , 适用于对性能 , 实时性 , 并发能力和灵活性有较高要求的各类应用场景 。
相比于传统的大数据解决方案 , StarRocks有以下优点:
·不依赖于大数据生态 , 同时外表的联邦查询可以兼容大数据生态
·提供多种不同的模型 , 支持不同维度的数据建模
·支持在线弹性扩缩容 , 可以自动负载均衡
·支持高并发分析查询
·实时性好 , 支持数据秒级写入
·兼容MySQL 5.7协议和MySQL生态
StarRocks与ClickHouse的功能对比
StarRocks与ClickHouse有很多相似之处 , 比如说两者都可以提供极致的性能 , 也都不依赖于Hadoop生态 , 底层存储分片都提供了主主的复制高可用机制 。 但功能、性能与使用场景上也有差异 。 ClickHouse在更适用与大宽表的场景 , TP的数据通过CDC工具的 , 可以考虑在Flink中将需要关联的表打平 , 以大宽表的形式写入ClickHouse 。 StarRocks对于join的能力更强 , 可以建立星型或者雪花模型应对维度数据的变更 。
大宽表vs星型模型
ClickHouse:通过拼宽表避免聚合操作
推荐阅读
- 产品|采用njoinic英集芯IP5303的移动电源IC,威麦科技麦克风开箱拆解报告
- Meetup|“初雪”与“向量化”| StarRocks Hacker Meetup小记
- 平台|StarRocks VS ClickHouse,携程大住宿智能数据平台的应用
- user_id|滴滴 x StarRocks:极速多维分析创造更大的业务价值
- joins|PostgreSQL 12.2 公开课及视频及PGCP认证(第9期)(CUUG)(2020年)
- 分析|唯品会翻牌ClickHouse后,实现百亿级数据自助分析