开发者社区> 问答> 正文

[@徐雷frank][¥20]MySQL亿级数据迁移MongoDB方案

已解决

问题场景

  • 目前MySQL数据库历史数据按天分表,每天约4千万条数据,目前报表只能查询一天数据,且耗时较长

问题描述

  • 如何将MySQL历史数据迁移到MongoDB
  • MongoDB存储表内容应当遵循什么规则和标准
  • 迁移后如何支持大数据查询统计

展开
收起
carloschao 2018-11-14 10:26:07 2810 0
2 条回答
写回答
取消 提交回答
  • 1.阿里云大学讲师,主讲《微服务Spring Cloud设计与开发实战》《MongoDB高级实战》等课程 2.MongoDB中文社区专家 3.《MongoDB实战》第2版译者 5.吉林大学计算机科学学士、上海交通大学硕士
    采纳回答

    1.官方的使用导出CSV或者其它JSON格式的方式,再导入mongodb可以做,但是效率性能太差了。
    2.建议自己写代码,读取MySQL,增量导入到MongoDB
    3.有一些开源的MySQL导入到MongoDB的项目,http://code.google.com/p/sql-to-nosql-importer/,可以参考一下Java写的。
    4.MongoDB的表字段模式比较灵活,不需要提前设计schema,随便导入,但是如果有表关联注意一下。
    5.迁移后大数据查询,可以使用Spark+MongoDB的方案,目前国内中国东航这样做,国外也有大数据方案的案例。

    2019-07-17 23:14:06
    赞同 展开评论 打赏
  • 阿里云ping https://ping.gaomeluo.com/aliyun/

    数据库迁移教程,参考:https://yq.aliyun.com/articles/709185

    2019-07-17 23:14:06
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
搭建电商项目架构连接MySQL 立即下载
搭建4层电商项目架构,实战连接MySQL 立即下载
PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

相关镜像