阿里云HBase SQL一站式解决复杂查询难题

明朔 2019-06-19

云栖社区 数据存储与数据库 分布式 大数据 分布式系统与计算 实时系统 hbase SQL 同步 solr 索引 数据同步 phoenix big data

一、背景概述

HBase作为海量在线存储引擎,被广泛应用于推荐、风控、物联网、画像、表单等大数据场景。Phoenix作为HBase的SQL层,极大降低了用户使用门槛,并且实现了二级索引、加盐表、动态列等大量实用功能。HBase底层存储基于LSM,LSM能将业务的随机写转为顺序写,能有效提升写吞吐,但是其查询只适合于Rowkey的前缀匹配,查询模式单一;Phoenix二级索引,底层是跟原表关联的索引表,同样也是前缀匹配,一个表可以有多个索引,这样可以增加查询范式,但是索引数目不能太多,否则写放大的问题会比较严重。对于更加复杂的查询场景,比如表单、日志查询里面的模糊查找,用户画像里面的随机条件组合等等,HBase + Phoenix的组合就不能支持。该问题是基于LSM的NoSQL数据库的通用问题,除了HBase,Cassandra、Le

登录 后评论
下一篇
冒顿单于
8303人浏览
2019-08-28
相关推荐
车联网上云最佳实践(三)
2513人浏览
2018-08-23 14:23:22
0
0
0
324