mongodb如何快速离线加载数据，模仿mongodump后的数据格式？
我有几亿条数据需要写入mongodb，只需要定时一次性写入。
如果用mongo客户端的insert来写，时间都是按小时计的，可能得20多个小时甚至更久
我现在向缩短到分钟级别，因为数据我可以先离线做处理，只要求导入mongo的时候要快
因为mongodb集群的写入是发生在master节点，master节点的IO能力有限。
我现在想到的就是把这几亿条数据组织称mongodump的导出格式，上传到mongodb 的master服务器上，用mongoresttore命令加载。
不过mongodump导出的文件格式很乱，肉眼可能没法保证理清其正确规则，所以就问文各位大神有经验么？
网上说的导入工具mongoimport只不过是省了编码的功夫可以直接命令行操作导入文件而已，里面我看了还是用mongo C++ api一条一条的insert进mongo的。
各位大神们还有其他更好的方法么？
展开
收起
1
条回答
写回答
写回答
-
喜欢技术，喜欢努力的人mongodump的文件格式是bson格式存放的数据 你自己实现也不是很容易 可以再单独搞台机器先把数据一个个倒入 然后再mongodump导出到master机器来mongoimport
2019-07-17 18:36:40赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
相关文章
相关电子书
更多
