开发者社区> 问答> 正文

[@倚贤][¥20]海量IP数据的导入导出问题

目前接到一个任务,需要将数据库中的IP(期望能支撑百万级)导出到Excel中,但是在导出时,会出现时间过长的问题甚至内存溢出。同时在导入这些IP数据到数据库中,因为涉及的业务关系,也会出现上述问题。请问:对于这种大量数据的处理有什么优化建议?

展开
收起
我是个宝宝 2018-11-01 16:51:16 2230 0
1 条回答
写回答
取消 提交回答
  • 全栈工程师,从事了 12 年以 Java 语⾔为主的软件开发工作,热衷于整合框架与开发工具,关注 交互设计,喜欢写技术博客(http://codelife.me/),Linux拥趸,问题终结者。近期开始学习和关注 Elixir 函数语言,合作翻译了《Elixir 程序设计》。

    如果不是复杂格式建议使用 .csv ,.csv 是逗号分隔的字段列,文本格式。
    如果一定要用 xls 格式,可以考虑用 OpenXmlWriter 试试, http://polymathprogrammer.com/2012/08/06/how-to-properly-use-openxmlwriter-to-write-large-excel-files/

    2019-07-17 23:11:42
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
ClickHouse在手淘流量分析应用实践Jason Xu 立即下载
高德经典数据库实践案例分享 立即下载
海量订单系统优化实践 立即下载