13518219792
这篇文章主要讲解了“如何解决MongoDB深分页的问题”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“如何解决mongodb深分页的问题”吧！
成都创新互联公司提供成都做网站、成都网站设计、成都外贸网站建设、网页设计，品牌网站设计，广告投放等致力于企业网站建设与公司网站制作，10年的网站开发和建站经验,助力企业信息化建设，成功案例突破超过千家,是您实现网站建设的好选择.
突然有一天，有用户反馈，保存的个人模板全都不见了，当听到这个消息的时候，第一个想法就是怀疑是用户自己删除了，因为有日常的开发任务，当时并没有在意，自此每隔三五天就有用户反馈同类的问题，这时候下意识的想，之前用户没反馈，现在反馈的多了起来，是不是最近上线的程序有bug，做了删除操作，紧急的查看了一下代码上线记录，发现并没有进行删除模板操作，同时反馈的还有模板加载响应很慢，偶尔接口返回500，测试同事试了一下，加载数据是正常的，抱着质疑的态度开始深入了分析了这部分业务逻辑和程序的编写，发现了一些端倪：
新用户另存为我的模板会创建一个 “个人模板” 的场景，场景id存储在用户的数据表中；
保存的模板页和场景页存储在mongodb的同一个表中，数据表的体量有十亿多条数据；
查询功能有分页，mongodb数据比较大时，对于深分页性能相对较差，分页代码
query = new Query(Criteria.where("sceneId").is(sceneId)).with(new Sort(Sort.Direction.DESC, "id"))
.skip((page.getPageNo() - 1) * page.getPageSize()).limit(page.getPageSize());查询方式如下图：
那么显而易见的模板丢失的原因就分析出来了，是用户把 “个人模板” 场景给删除了，从而导致场景下的模板页随之被删除，分析出原因之后，想到了以下的优化方案:
场景列表查询不显示 “个人模板” 场景数据；
优化mongodb分页，优化mongodb分页，优化如下
if (tplId == null){
// 分页获取
query = new Query(Criteria.where("sceneId").is(sceneId)).with(new Sort(Sort.Direction.DESC, "id"))
.skip((page.getPageNo() - 1) * page.getPageSize()).limit(page.getPageSize());
}else{
query = new Query(Criteria.where("sceneId").is(sceneId).lte(tplId)).with(new Sort(Sort.Direction.DESC, "id")).limit(page.getPageSize());
}优化方案定好之后，很快程序就在预发布部署测试并上线，果不其然，用户在列表看不到 “个人模板” 场景之后，反馈模板丢失的问题没了，但是 个人模板列表加载无响应的问题还在持续存在，难道是mongodb分页优化没起作用？其实并不是，因为表的数据体量已经达到十亿级别，接口的响应最大时间设置为2秒，超过了最大响应时间就返回500，那么mongodb分页优化并不能从根本解决加载慢的问题，新的优化方案随即产生：
场景页和模板页分开存储，统计了一下，模板页的总数一共七百多万，其余的都是场景页数据;
新用户另存为个人模板不产生 “个人模板” 场景，用户表中存储场景ID；
在MySQL库中建立userId和pageId的关系表；
优化后的查询如下图：
那么有两个问题，这么大的体量数据，怎么迁移模板页数据呢？ 新产生的模板页数据怎么进行存储呢？ 想了一下解决方案：
模板页数据双写，新插入的存储在不同的mongodb表中，并在MySQL中建立 UID和Tpl的关系；
开发模板迁移程序，从用户角度出发，轮训每一位有模板标识的用户获取sceneId，查询出模板页，随之保存到新表，建立UID和Tpl的关系
接下来就开始去按照这个优化方案去执行：
第一步：在MySQL中建立UID和Tpl的关系表，先进行数据双写 ，数据关系表如下图
2、 第二步，开发模板迁移程序，迁移的办法有好几种，第一种：使用ETL工具进行数据迁移、 第二种：查出历史数据，发送到MQ中，设置一定数量的消费者使用多线程方式去消费执行，最终我觉得最优方案是第二种，如下图：
流程定义好了，为了不影响业务的正常执行，一般迁移数据这样子的工作都是从数据库的从库获取数据， 接下来就开发迁移程序，首先建立两个项目，data-provider，data-consumer，data-provider 查询用户，把另存为模板的场景ID发送到mq，data-consumer接受场景ID，去查询page，并分别保存到模板页新表和MySQL库的UID和Tpl的关系表中
data-provider代码如下：
@Component
public class TaskTplSyncRunner implements ApplicationRunner {
private Logger logger = LoggerFactory.getLogger(this.getClass());
@Autowired
private TaskService taskService;
@Override
public void run(ApplicationArguments args) throws Exception {
AtomicInteger total = new AtomicInteger(0);
AtomicInteger count = new AtomicInteger(1);
// 开始sceneId
Long start = null;
if (!CollectionUtils.isEmpty(args.getOptionValues("start"))) {
start = args.getOptionValues("start").get(0) == null ? 1 :
Long.valueOf(args.getOptionValues("start").get(0));
}
// 最后sceneId
Long end = null;
if (!CollectionUtils.isEmpty(args.getOptionValues("end"))) {
end = args.getOptionValues("end").get(0) == null ? 1000 :
Long.valueOf(args.getOptionValues("end").get(0));
}
// 每一次的执行跨度
Integer pageSize = null;
if (!CollectionUtils.isEmpty(args.getOptionValues("pageSize"))) {
pageSize = args.getOptionValues("pageSize").get(0) == null ? 2000 :
Integer.valueOf(args.getOptionValues("pageSize").get(0));
}
logger.info("init start value is ={},end value is={}", start, end);
while (true) {
Map objectMap = taskService.sendTplMq(start, end);
if (objectMap.containsKey("endSceneId")){
// 得到下一次循环的最后一个id
end = Long.valueOf(objectMap.get("endSceneId").toString());
start = end - pageSize;
}
count.getAndIncrement();
if (objectMap.containsKey("total")) {
total.addAndGet(Integer.valueOf(objectMap.get("total") + ""));
}
// 是最后一个用户直接跳出
if (start < 1101) {
break;
}
}
logger.info("execute personage tpl sync success,total count {} ", total.intValue());
logger.info("execute personage tpl sync task end。。。。。。。。。。");
}
} 
