网站建设资讯

NEWS

网站建设资讯

presto、sparksql、druid、kylin、clickhouse是什么

小编给大家分享一下presto、sparksql、druid、kylin、clickhouse是什么,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!

成都做网站、成都网站设计中从网站色彩、结构布局、栏目设置、关键词群组等细微处着手,突出企业的产品/服务/品牌,帮助企业锁定精准用户,提高在线咨询和转化,使成都网站营销成为有效果、有回报的无锡营销推广。创新互联建站专业成都网站建设10多年了,客户满意度97.8%,欢迎成都创新互联客户联系。

presto和sparksql只是计算引擎,不做数据存储

相对于sparksql,presto是纯内存计算,尽量使用整个集群中的内存,sparksql依赖于分配的executor数量,在executor内存不足时会落盘;

相对于sparksql,presto启动执行更迅速,sparksql要依赖yarn调度资源;

相对于sparksql,presto带有分页功能,在分页查询时更有优势;

相对于presto,sparksql运行更稳定,presto会经常出现oom;

druid、kylin、clickhouse都是存储加计算引擎

druid和kylin更适合预聚合场景,其中druid是时序数据库,对所有维度列枚举值建立bitmap索引,所以维度枚举值如果较多的话,数据膨胀会比较厉害;kylin是通过MapReduce任务枚举维度组合,每一种维度组合对应一张hbase表,维度组合值为主键,通过hbase rowkey实现快速访问,因为实现要指定维度组合情况,所以kylin适合业务场景比较固定的情况,这也是hbase的特点,通过单一的key查询数据。

clickhouse可以对数据分区,建立主键,对命中主键的明细数据聚合查询较快,这种对于一些维度枚举值较多的数据比较适合,没有数据膨胀

结论

druid和kylin主要针对预聚合场景,因此查询较快,qps较高,但是因为数据做了聚合,无法查看明细数据,不支持join;clickhouse、presto、sparksql主要是扫描原始数据,实时聚合,因此查询较慢,qps较低,但是clickhouse有主键索引,数据都存在本地,因此查询速度明显快于presto和sparksql,但是presto、sparksql join性能更好

看完了这篇文章,相信你对“presto、sparksql、druid、kylin、clickhouse是什么”有了一定的了解,如果想了解更多相关知识,欢迎关注创新互联行业资讯频道,感谢各位的阅读!


网站标题:presto、sparksql、druid、kylin、clickhouse是什么
本文URL:http://cdweb.net/article/pjogei.html