基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化<em>文件</em>实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
 场景一:OSS中只原图,用户在请求URL中带着期望对图片做何种处理的参数,请求 回来的图片是已经基于参数处理好的图片  场景二:OSS中只某种格式的图片,实现无论用户请求时URL中是何种格式,都可以 正常返回图片 方案优势  不需要所有版本的图片都保存,只需要保存原图即可,可有效优化OSS存储成本。 可以灵活...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算
对象存储 OSS
阿里云对象存储 OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云备份服务,提供最高可达 99.995 % 的服务可用性。多种存储类型供选择,全面优化存储成本。
相关产品对象存储 OSS 本产品开源大数据平台 E-MapReduce文件存储 CPFS人工智能平台 PAI一键部署2023 杭州·云栖大会:计算,为了无法计算的价值云栖大会开始于 2009 年,始终以引领云计算创新为宗旨,以坚持开放为姿态,承载着云计算的思想、突破、产业实践,推动了中国云计算产业的前.精彩回放云栖速递:面向大规模数据...
来自: 云产品
数据库文件存储DBFS
阿里云数据库文件存储DBFS基于共享存储架构,支持数据库定制和共享读写的线性扩展能力,提供低成本、高性能、高可用的存储服务,助力客户数据库业务无缝迁移上云。
数据库文件存储 DBFS.数据库文件存储(DBFS)是一款针对数据库场景的云原生共享文件存储服务。它基于共享存储架构设计,通过文件协议提供数据库定制功能,具备企业级存储特性。主要服务于云上自建数据库、基于传统存储区域网络(SAN)的应用等,为用户提供低成本、高性能、高可用的存储服务.谢赟辉,靖鑫,也树.孙慧颖,靖鑫,...
来自: 云产品
表格存储Tablestore
表格存储Tablestore是阿里云自研的面向海量结构化数据存储的Serverless分布式数据库,它可提供低成本、高性能的存储方案,同时也可提供稳定与极致的数据服务。
弹性支持单表PB级存储,自动扩展服务能力,享受免运维、即开即的使用体验。支持多级存储介质,配合冷热自动分层最大化优化存储成本.针对场景化优化提供多种数据模型,包括宽行模型、时序模型和消息模型。简化数据模型定义,让开发更便捷,让能力更贴合.可便捷的对数据进行实时索引,针对不同查询场景提供多元化索引。支持...
来自: 云产品
存储EBS
阿里云块存储EBS是为云服务器ECS提供的低时延、持久性、高可靠的块级随机存储,拥有丰富的产品类型,多元的存储特性,适用于自建数据库加速,快照数据保护等场景,ESSD PL3规格最高可提供100万IOPS以及4000MB/S吞吐能力,有效提升存储性能,大大降低成本。
已有云盘支持灵活扩容,利用存量快照来创建块存储时,可为块存储配置大于快照容量的存储空间,既可以满足块存储以快照数据副本开始工作的诉求、又可以提供更大的存储容量.快速的业务部署和弹性能力.通过预先设置自动快照策略来实现自动快照功能,定期为您块存储上的业务数据做备份.块存储提供快照功能,您可以根据需要随时...
来自: 云产品
云Clickhouse冷热数据分层存储
云Clickhouse冷热数据分层<em>存储</em>
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案,本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系,稳定性高,数据倾斜自动均衡。 2. 完善的数据同步链路,可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse,降低研发成本。 3. 平滑升级版本,业务中断小。 冷热分层后透明读取,帮客户节约整体数据存储成本。
设置云 ClickHouse冷热分层存储 通过该章节了解如何开启冷热分层存储,云 ClickHouse可以支持数据冷热分层存储,节 约 整 体 成 本。数 据 冷 热 分 层 参 考:https://help.aliyun.com/document_detail/202879.html 背景信息 通过该步骤设置 ClickHouse冷热分层存储,冷热数据分层存储需要主动开启。冷热分层...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,数据传输,日志服务(SLS),云数据库 ClickHouse
企业数据存储与备份解决方案
阿里云企业数据存储与备份解决方案,打破线下 IDC 数据孤岛,满足客户业务的数据合规性要求和多种数据源的快速备份恢复需求场景。
企业数据存储与备份解决方案.基于阿里云提供的存储与灾备平台,提供数据备份、数据容灾保护以及策略化归档管理,满足客户的数据合规性要求和多种数据源的快速备份恢复需求,保障业务连续性,节省企业运维成本,消除企业后顾之忧.谢赟辉,靖鑫,也树.企业数据存储与备份解决方案.本方案基于阿里云的云存储能力和灾备统一管理...
来自: 解决方案
Oracle RAC 12C云上部署
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云,提供高并发,高吞吐,高安全等特性,适用于金融,电力,电信,制造业等传统客户的核心交易系统。
 HAVIP  专有网络VPC 最佳实践频道 阿里云最佳实践分享群  弹性网卡ENI  ECS7代存储增强型实例  ESSD块存储  云速搭CADT 钉钉扫描二维码或搜索钉群号 31852400入群OracleRAC12C云上部署 最佳实践 文档版本:20240206(发布日期)OracleRAC12C云上部署 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 ...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,云企业网
数据迁移上云
数据迁移上云
随着越来越多的企业选择将业务系统上云,各种类型的数据如何便捷、平滑的迁移上 云,成了用户上云较为关注的点;业务上云后,因为业务或者其他方面调整等因素, 也存在如跨区域,跨账号等数据迁移的场景。针对以上需求,阿里云上提供了较为丰 富的工具(如ossimport)、服务(在线迁移服务),旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源,并以杭州区域来模拟线 下IDC(或友商),深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
开通如下服务:ᅳ 对象存储 OSS ᅳ 文件存储 NAS ᅳ 云速搭 CADT 3 文档版本:20201013 数据迁移上云最佳实践 测试资源准备 1.测试资源准备 背景信息 在本章中,将以阿里云杭州地域模拟线下 IDC,使用云架构设计工具 CADT快速创建 IDC集群所需的基础资源。1.1.资源规划列表 类别 配置项 说明 杭州 VPC IPv4网段 推荐网段 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,云企业网,云速搭CADT
EHPC混合云渲染
EHPC混合云渲染
介绍在混合云环境下,利用E-HPC及其文件缓存机制,无缝读取线下存储中的项目资产,免去复杂繁琐的文件同步问题;充分利用云上资源弹性、按使用付费的优势,构建高性能、高可靠和可扩展的渲染服务。 解决问题 l混合云环境下本地集群与云端集群一体化的渲染服务。 l避免繁琐复杂的本地与云端的文件同步问题。 l低成本、高效率应对渲染业务峰值。 产品列表 l云服务器、GPU云服务器 l高性能计算E-HPC l专有网络VPC l云企业网CEN l弹性公网IP EIP l访问控制RAM l文件存储NAS
最佳实践频道 产品列表 云服务器 ECS GPU云服务器 GPU 高性能计算 EHPC 专有网络 VPC 云企业网 CEN 弹性公网 IP EIP 访问控制 RAM 阿里云最佳实践分享群 文件存储 NAS 如二维码过期,请搜索群号:31852400 文档版本:20191129 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 E-HPC混合云...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网,GPU云服务器,弹性高性能计算E-HPC
利用低成本链路完成业务数据迁移上云
利用低成本链路完成业务数据迁移上云
场景描述 随着云计算被越来越多的客户所接受,除业务系 统上云外,很多客户已经把业务数据搬迁上云。 业务数据量一般都比较大,迁移上云需要大量的 网络带宽,BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限(移 动/联通/电信均可),可用为迁移数据有效降低 成本。 解决问题 1.业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包
业务数据上云网络成本高 产品列表  专有网络VPC  云服务器ECS  网络存储NAS  共享带宽包 文档版本:20191010(发布日期)云服务器ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 利用低成本链路 完成业务数据迁移上云 最佳实践 文档版本:20150122(发布日期)2 利用低成本链路完成业务数据迁移上云 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS
基于弹性计算的AI推理
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前,模型已经训练完成。例如,刷脸 支付中,我们在刷脸的时候,就是推理的一个过 程。再比如图像分类,目标检测,语音识别,语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
阿里云账号下已开通以下阿里云服务:ᅳ 容器服务 ᅳ 文件存储 NAS服务 ᅳ 资源编排(ROS)服务 ᅳ 访问控制(RAM)服务 ᅳ 日志服务(SLS)ᅳ 弹性伸缩服务(ESS)ᅳ 文件存储 NAS服务 下载本文用到的操作命令和代码:以 CentOS主机为例:#yum-y install git#git clone https://code.aliyun.com/best-practice/061.git 遇到...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
基因计算工作流
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现,支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算,按照规定好的步骤依次完成 计算,这符合工作流的特点:多层次,有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
基因计算工作流 最佳实践 架构图 场景...阿里云账号下已开通以下阿里云服务:ᅳ 容器服务 Kubernetes版 ᅳ 文件存储 NAS服务 ᅳ 资源编排(ROS)服务 ᅳ 访问控制(RAM)服务 ᅳ 日志服务(SLS)ᅳ 弹性伸缩服务(ESS)ᅳ 文件存储 NAS服务 下载本文用到的操作命令和代码:以 CentOS主机为例:#yum-y install git#git clone ...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,文件存储NAS,容器服务 ACK
容器跨可用区高可用
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构,某可用区挂掉后,不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB,RDS,Redis等产品,实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB,RDS,REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
解决问题 利用容器服务 ACK搭建跨可用区高可用 产品列表 的应用 容器服务 ACK 容器服务 ACK结合 SLB,RDS,REDIS构 RDS for Mysql版 建高可用应用 云数据库 Redis 版 文件存储 NAS 云速搭 CADT 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 容器跨...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,文件存储NAS,容器服务 ACK,云数据库 Redis 版,云速搭CADT
RAPIDS加速机器学习
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU,利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
使用 NAS存储计算数据 最佳实践频道 阿里云最佳实践分享群 产品列表 容器服务 Kubernetes版 GPU云服务器 文件存储 NAS 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云智能 RAPIDS加速机器学习 最佳实践 文档版本:20200114 文档版本:20150122(发布日期)II ...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
RAPIDS加速图像搜索
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU,利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
使用 NAS存储计算数据 产品列表 容器服务 Kubernetes版 GPU云服务器 文件存储 NAS 最佳实践频道 阿里云最佳实践分享群 如二维码 过期,请搜索群 号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云智能 RAPIDS加速图像搜索 最佳实践 文档版本:20200114 文档版本:20150122(发布日期)II ...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
EHPC分子动力学最佳实践
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例,介绍阿里云EHPC分子动力学最佳实践。
使用文件存储 NAS存储数据和代码 3.使用 ECS弹性伸缩组构建集群弹性 产品列表 弹性高性能计算 E-HPC 文件存储 NAS 云速搭 CADT 云服务器 ECS GPU云服务器 最佳实践频道 阿里云最佳实践技术分享群 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 EHPC分子动力学 最佳实践 文档版本:20211115(发布日期...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC,云速搭CADT
混合云使用Ali-Perseus
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中,自建 Kubernetes服务,线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具,并采用阿里云CPFS存储,运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC, 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
使用 CPFS存储共享数据 产品列表 云企业网 CEN 如二维码过期,GPU云服务器 请搜索群号:31852400 并行文件存储 CPFS 文件存储 NAS 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 混合云使用飞天 AI加速工具 最佳实践 文档版本:20200114 II 混合云使用飞天AI加速工具 文档版本信息 文档...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网
EHPC药物筛选
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境,运行药物筛选应用AutodockVina 的场景中,这里采用批处理方式来提交 作业,并可以可视化计算结果。 方案架构 1.计算之前,将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时,将数据从OSS拉取到文件共享存储NAS上 3.计算时,在EHPC集群上进行,计算节点从NAS上读写数据 • 容量型NAS:低成本,大容量 • 性能型NAS:适合高IOPS应用,作为临时目录 • CPFS:适合超大规模,并行度极高的作业 4.计算节点: • 如果对计算时间不敏感,希望低成本运算,可选ECS实例 • 如果时效性要求高,建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大,可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接(moleculardocking)模拟计算进行药物筛选,是模拟小分子配体和生物大分子受体的 相互作用,预测配体和受体的结合模式和亲和力。 • 通常,有很多已有的配体库,如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体,模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体,不同配体之间没有依赖,因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
EHPC药物筛选 最佳实践 部署架构图 场景描述 本方案适用于使用弹性高性能计算 EHPC和文件 存储 NAS来搭建基础环境,运行药物筛选应用 Autodock Vina的场景中,这里采用批处理方式 来提交作业,并可以可视化计算结果。解决问题 1.使用 EHPC运行药物筛选应用 2.使用 nas存储计算数据 3.使用 OSS保存计算结果 产品列表 弹性高...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC
企业上云workshop
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统,业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上, 包括如何在云上构建以上业务系统,如何迁移线下 系统到云上,如何割接。 3. 最后介绍了迁移上云后,如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
更 多 信 息,请 参 见 对 象 OSS 简介 https://www.aliyun.com/product/oss 云文件存储 NAS:是一个可共享访问,弹性扩展,高可靠,高性能的分布式文件 系统。兼容 POSIX 文件接口,可支持数千台计算节点共享访问,可以挂载到弹性 计算 ECS、神龙裸金属、容器服务 ACK、弹性容器 ECI、批量计算 BCS、高性能 计算 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
< 1 2 3 4 ... 6 >
共有6页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用