异构数据半小时实现搜索功能,一个系统搞定

闲鱼技术 2019-08-28

闲鱼技术前沿

作者:闲鱼技术-峰明

背景

对于闲鱼这种处于高速增长期的部门来说,业务场景在快速膨胀,越来越多的业务数据对搜索能力有诉求。如果按照常规的方式为各个业务搭建独立搜索引擎服务,那么开发和维护的时间成本将是非常巨大的。能否只用一套搜索引擎系统支撑不同业务场景产出的数据呢?不同场景的异构数据如何在一套引擎中兼容呢?闲鱼从实际的业务需求出发,搭建了一套通用搜索系统解决这个问题。

搜索原理简述

闲鱼使用的搜索引擎是阿里巴巴的HA3引擎,配合其上层的管控系统Tisplus2使用。可以拆分为以下几个子系统:
1、dump:接入搜索系统首先要做的就是把DB数据经过一些业务逻辑转换后(后面会详细描述的merge、join流程),按照引擎BuildService能够识别的文件格式写入到文件系统或者消息队列中供BS构建索引使用,这个过程分为全量与增量两种。

2、Bu

登录 后评论
下一篇
云攻略小攻
426人浏览
2019-10-21
相关推荐
程序员之路:十年磨一剑
1473人浏览
2014-08-13 23:54:00
改写数据库历史的中国人
1722人浏览
2017-09-28 14:54:27
GTDer为何不再拖延了?
551人浏览
2017-11-08 15:06:00
0
0
0
4109