节省60%费用!巧用阿里云归档存储降低基因测序成本

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介:

“如果有款存储产品能在保证业务正常运行的时候节省60%的成本,我会毫不犹豫选择它”。

我的工作是做生物基因测序的,我们公司很早就在云上搭建了数据分析平台(云的优势不多说了,省心省钱),数据通过采集设备生成后,会立即上传到云端进行预订的测序分析。当然了,考虑到算法更新,这些数据都是保存在云端的,有了新的分析方法就可以进行更多维度的分析,无需重新采集。

存储周期长是基因数据的特点,在采集后的最初几个月内会被频繁访问,对于数据实时的响应性要求极高。但经过开始的几个月后,原始数据访问频率就开始大幅下降,所以我们尽量会寻找不同访问特性的存储,去降低总存储成本。

之前我们用的一直是阿里云的OSS标准存储,虽然速度快、延迟低、吞吐能力强,但对我们业务的不同时期来说有些“性能过剩”。所以当我们看到阿里云新上线的归档存储OSSArchive的价格的时候,说句实话,挺惊讶的:毕竟这款产品比OSS便宜得多。然后又想到阿里云看的挺远,不免有些服气。

归档存储有多便宜呢?相比标准存储低了近60%,适用于长期(几年甚至更长时间)存储的归档数据取回。按照存储容量300TB来计算,如果使用归档类型存储一年是221184元,即使与300TB年存储包相比,也可节省11万元以上。

image


对基因行业,这是个非常大的惊喜,因为每个基因文件的大小在几GB到几十GB不等,随着基因测序的需求增加,存储规模增长非常快,其在总成本中占有的比例也在不断增大。

另一个吸引我的地方是归档存储采用的是OSS标准API,跟我们现有的数据管理与分析平台完全配套,无需进行平台改造。

归档存储的上手非常简单,我们经过了几天的方案验证后,很快完成了全新的业务架构搭建。

下面是一个归档类型Bucket创建、文件上传、查询、解冻与下载的简单流程:

1、创建归档类型的Bucket

首先通过控制台创建一个归档类型Bucket,当前阿里云OSS开放的是华北2(北京)区域,开通归档类型Bucket流程和其他存储类型Bucket是相同的。

image

2、上传数据

OSS提供的ossutil工具可以自动根据文件大小适配上传模式,包括PUT 上传、分片上传。基因文件普遍都是GB级以上,需要通过分片机制,将大文件能够拆分成多个片段独立上传。

image

3、查询文件列表

OSS API和相关工具可以实时查询文件列表。

image

4、文件解冻

归档存储与标准类型在读取Object前,需要有一个Restore操作,按照OSSArchive文档中介绍,上传到归档类型的Object处于冷冻状态,需要先解冻后进入到可读取状态,Restore操作后需要等待1~4个小时的等待时间。

image


在Restore解冻过程中的Object会显示ongoing-request="true"。

解冻完成后,查询Object状态会显示解冻完成可以直接下载,expiry-date为过期时间,过期时间一到,Object会重新进入冷冻状态。

image


解冻操作是需要收取费用的,每解冻 1GB数据需要0.06元,所以不需要立即使用的Object还是让它安安静静的保存吧。解冻完成24小时后Object会重新回到冷冻状态,参考官网文档处于解冻状态下,可以通过多次调用Restore,使Object最长保持七天可读状态。

5、文件下载、读取分析


image


已经解冻的Object可以和标准类型的Object一样的下载方式 。

对于基因数据的管理,我们对每个基因文件的元信息使用了数据库保存,每个基因文件都会记录上传时期和近半年内使用信息,对于上传时间超过一定时期并且长期没有访问的基因文件,会从标准类型的Bucket中迁移到归档类型Bucket。

归档存储类型总体使用下来的体验不错,也给OSS产品提个建议吧,希望后期能支持加入Restore解冻完成的事件通知,现在应用程序实现中都是每隔一小时去获取下Restore的状态。

目录
相关文章
|
2月前
|
弹性计算 大数据 测试技术
阿里云服务器租用费用价格表_阿里云服务器一年报价_阿里云服务器1个月费用表(2024版)
阿里云服务器一年报价多少钱?阿里云服务器1个月费用多少钱?阿里云服务器租用费用价格表来了!2024年阿里云服务器租用价格表更新,云服务器ECS经济型e实例2核2G、3M固定带宽99元一年、ECS u1实例2核4G、5M固定带宽、80G ESSD Entry盘优惠价格199元一年,轻量应用服务器2核2G3M带宽轻量服务器一年61元、2核4G4M带宽轻量服务器一年165元12个月、2核4G服务器30元3个月,幻兽帕鲁4核16G和8核32G服务器配置,云服务器ECS可以选择经济型e实例、通用算力u1实例、ECS计算型c7、通用型g7、c8i、g8i等企业级实例规格。
|
11天前
|
弹性计算 前端开发 Java
使用阿里云 mqtt serverless 版本超低成本快速实现 webscoket 长链接服务器
使用阿里云 MQTT Serverless 可轻松实现弹性伸缩的 WebSocket 服务,每日成本低至几元。适用于小程序消息推送的 MQTT P2P 模式。前端需注意安全,避免 AK 泄露,采用一机一密方案。后端通过调用 `RegisterDeviceCredential` API 发送消息。示例代码包括 JavaScript 前端连接和 Java 后端发送。
100 0
|
1月前
|
存储 域名解析 应用服务中间件
阿里云OSS对象存储,实现内网访问,免流量费用
阿里云OSS对象存储,实现内网访问,免流量费用
414 1
|
1月前
|
弹性计算 缓存 测试技术
阿里云2核4g服务器(费用价格/性能测试/支持人数)
阿里云2核4g服务器能支持多少人访问?2核4G服务器并发数性能测试,阿小云账号下的2核4G服务器支持20人同时在线访问,然而应用不同、类型不同、程序效率不同实际并发数也不同,2核4G服务器的在线访问人数取决于多个变量因素
|
1月前
|
弹性计算 缓存 数据库
当前阿里云2核4G服务器怎么收费?多少钱一年?1个月费用
当前阿里云2核4G服务器怎么收费?多少钱一年?1个月费用,2核4G配置1个月多少钱?2核4G服务器30元3个月、轻量应用服务器2核4G4M带宽165元一年、企业用户2核4G5M带宽199元一年。可以在阿里云百科查看当前最新2核4G服务器精准报价、优惠券和活动信息
|
1月前
|
弹性计算 缓存 数据库
阿里云服务器2核4G配置有哪些选择?2024年租用费用
阿里云服务器2核4G配置有哪些选择?2024年租用费用,2核4G配置1个月多少钱?2核4G服务器30元3个月、轻量应用服务器2核4G4M带宽165元一年、企业用户2核4G5M带宽199元一年
|
1月前
|
弹性计算 缓存 数据库
2核4G服务器多少钱一年?1个月费用多少钱?就服阿里云!
2核4G服务器多少钱一年?1个月费用多少钱?就服阿里云!2核4G配置1个月多少钱?2核4G服务器30元3个月、轻量应用服务器2核4G4M带宽165元一年、企业用户2核4G5M带宽199元一年
|
1月前
|
弹性计算
2024年阿里云上搭建《幻兽帕鲁》(Palworld)游戏服务器费用概览
随着《幻兽帕鲁》的热度不断上升,越来越多的玩家开始关注如何搭建自己的专用服务器,以提供更佳的游戏体验。本文将为您详细解析阿里云上搭建《幻兽帕鲁》服务器的费用情况,帮助您做出更明智的选择。
295 0
|
1月前
|
弹性计算 关系型数据库 数据库
阿里云史上最大力度降价:2024年阿里云服务器降价后租用费用明细报价表整理
2024年阿里云年度首次官方降价,百款产品直降,平均降幅20%,最高降幅55%,阿里云希望通过此次大规模降价,让更多企业和开发者用上先进的公共云服务,加速云计算在中国各行各业的普及和发展。阿里云将下调部署在中国大陆地域的部分公共云产品(行业云不在本次价格调整范围内):包括云服务器ECS、云数据库RDS(MySQL、PostgreSQL、MariaDB)、云数据库Redis社区版、云数据库MongoDB、云数据库ClickHouse社区兼容版的特定规格包年/多年官网折扣价、节省计划(云服务器大陆地域ECS计算型节省计划、RDS MySQL全地域节省计划),以及对象存储服务 OSS 按量付费、预留
|
2月前
|
弹性计算 固态存储 大数据
2024年阿里云服务器租用费用_阿里云云服务器ECS价格表(2核2G - 8核64G)
阿里云服务器分为云服务器ECS和轻量应用服务器,云服务器s6公网带宽可选1M到5M,系统盘40G起可选高效云盘、SSD云盘或ESSD云盘,阿里云服务器租用费用,轻量应用服务器和云服务器ECS优惠价格表,云服务器ECS经济型e实例2核2G、3M固定带宽99元一年、ECS u1实例2核4G、5M固定带宽、80G ESSD Entry盘优惠价格199元一年,轻量应用服务器2核2G3M带宽轻量服务器一年61元、2核4G4M带宽轻量服务器一年165元12个月、2核4G服务器30元3个月,幻兽帕鲁4核16G和8核32G服务器配置,云服务器ECS可以选择经济型e实例、通用算力u1实例、ECS计算型c7。

热门文章

最新文章