利用函数计算流式 gz 打包 ECS 上的单个 超大文件

rsong 2019-07-21

gzip 函数 ECS pos 对象存储 lambda serverless 云服务器ECS 函数计算

背景

在某些业务场景下,生成超大的日志文件或者其他文件, 这些文件需要及时移出并 gz 压缩保存到 OSS,但是压缩文件可能会大于 3G 超出函数计算执行环境的最大内存限制, 本文提供流式解决这个问题的方案

  • 函数计算配置VPC, 内网打通ecs
  • OSS 和 函数计算在相同 region, 内网传输

示例代码

依赖使用第三方库 paramiko, 但是默认的库在传输大文件上有传输速率限制, 需要做如下改造, 同时构造 paramiko.SFTPClient 的时候需要设置好 window_size 和 max_packet_size 这两个参数

image

import paramiko
import gzip
import oss2
import logging
import os
import time

logging.getLogger("oss2
登录 后评论
下一篇
冒顿单于
6920人浏览
2019-08-28
相关推荐
大数据:Hadoop族群介绍
766人浏览
2017-07-03 15:04:00
一文快速了解MaxCompute
3240人浏览
2019-03-04 02:48:55
弹性计算双周刊 第20期
4239人浏览
2018-12-28 15:30:58
云计算读书笔记(五)
1064人浏览
2016-04-25 15:29:51
云计算读书笔记(五)
391人浏览
2011-10-19 12:07:00
0
0
1
372