基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
举一个 产品列表 图片处理的场景，现在各种终端种类繁多，不同 专有网络VPC 的终端对图片的格式、分辨率要求也不同，所以 阿里云函数计算(FC)一张图片往往会有很多张衍生图，那如果所有的 阿里云对象存储（OSS）衍生图都存在OSS中，那存储的成本会增加， 内容分发网络（ContentDeliveryNetwork，CDN） 云速搭...
企业用户多账号合并之存储迁移集中
场景描述 本文介绍使用在线迁移服务，将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求，统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问，数据统一需求。 3.系统架构及资源成本优化需求，多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
使用数 据迁移服务，您可以将第三方数据轻松迁移至阿里云对象存储 OSS，也可以在对 象存储 OSS 之 间 进 行 灵 活 的 数 据 迁 移。详 见 https://help.aliyun.com/product/94157.html 文档版本：20220505 III 企业用户多账号合并之存储迁移集中部署 目录 目录 文档版本信息.I 法律声明.II 产品介绍.III 目录.IV 最佳实践...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
应用场景 跨境对象存储数据传输需求 对跨境传输成本控制严苛 能接受一定程度网络抖动带来的文件同 步延迟 系统需要有足够的弹性和扩展性应对大 产品列表 规模文件的写入 云服务器 ECS 对象存储 OSS 专有网络 VPC 函数工作流 Serverless Workflow 日志服务 SLS 函数计算 FC 阿里云最佳实践分享群 最佳实践频道 如二维码过期...
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境，运行药物筛选应用AutodockVina 的场景中，这里采用批处理方式来提交 作业，并可以可视化计算结果。 方案架构 1.计算之前，将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时，将数据从OSS拉取到文件共享存储NAS上 3.计算时，在EHPC集群上进行，计算节点从NAS上读写数据 • 容量型NAS：低成本，大容量 • 性能型NAS：适合高IOPS应用，作为临时目录 • CPFS：适合超大规模，并行度极高的作业 4.计算节点： • 如果对计算时间不敏感，希望低成本运算，可选ECS实例 • 如果时效性要求高，建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大，可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接（moleculardocking）模拟计算进行药物筛选，是模拟小分子配体和生物大分子受体的 相互作用，预测配体和受体的结合模式和亲和力。 • 通常，有很多已有的配体库，如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体，模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体，不同配体之间没有依赖，因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
使用 OSS保存计算结果 产品列表 弹性高性能计算 E-HPC 文件存储 NAS 对象存储 OSS 云速搭 CADT 最佳实践频道 阿里云最佳实践技术分享群 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 EHPC药物筛选最佳实践 文档版本：20210811 II 企业上云实践 EHPC...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
需要使用 Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS：阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务，允许用户像在 Hadoop分布式文件系统中管理和访问数 据，无需对数据...
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例，介绍阿里云EHPC分子动力学最佳实践。
阿里云账号下已开通以下阿里云服务：ￚ EHPC服务 ￚ 文件存储 NAS服务 ￚ 对象存储 OSS ￚ 云服务器 ECS ￚ 云速搭 CADT 下载本文用到的操作命令和代码：以 CentOS主机为例：#yum-y install git#git clone https://code.aliyun.com/best-practice/230.git 其中，samplecode.sh包含了所有使用的命令。如果你是 windows主机，...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
更 多 信 息，请 参 见 对 象 存 储 OSS 简介 https://www.aliyun.com/product/oss 云文件存储 NAS：是一个可共享访问，弹性扩展，高可靠，高性能的分布式文件 系统。兼容 POSIX 文件接口，可支持数千台计算节点共享访问，可以挂载到弹性 计算 ECS、神龙裸金属、容器服务 ACK、弹性容器 ECI、批量计算 BCS、高性能 计算 ...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
使用在线迁移服务，节省您 部署迁移工具的时间，另外图形化的界面也更方便您将第三方数据轻松迁移至阿里云 对象存储 OSS，也可以在对象存储 OSS 之间进行灵活的数据迁移。本最佳实践以 IDC的 FTP服务器的文件迁移至 OSS作为测试场景。其中杭州 ECS 安装 FTP服务，模拟 IDC的 FTP服务器。在线迁移需注意以下问题：（1）线...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
应用说明 本应用的源代码请参见如下链接：https://github.com/awesome-fc/fc-fnf-video-processing/tree/master/video-processing 3.2.1. 应用介绍 基于 Function Compute FC+函数工作流 FnF+对象存储 OSS+文件存储 NAS 文档版本：20201228（发布日期）16 Function Compute 实现弹性音视频处理系统 部署 Function Compute ...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
步骤3 查看最新生成的 distcp日志文件，当任务成功完成时，可以查看到相关报告：文档版本：20210425 28 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 Hive数据迁移 cat distcp.log 登录阿里云 OSS文件存储系统/user/hive目录下可以查看到相关的数据。3.2.将自建 Hive元数据库进行转储 在本实践方案中自建 Hive ...
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境，并使用AIACC加速工具进行加速。
快速进行 AI POC性能测试 产品列表 如二维码过期，GPU云服务器 请搜索群号：31852400 文件存储 NAS（CPFS）对象存储 OSS 专有网络 VPC 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 FastGPU极速 AI训练/推理 最佳实践 文档版本：2021015 文档版本：20150122（发布日期）II FastGPU极速 ...
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
阿里云对象存储 OSS（Object Storage Service）是一款海量、安全、低成本、高可靠 的云存储服务，可提供 99.9999999999%（12个 9）的数据持久性，99.995%的数据 可用性。适合存储回测标的的历史数据。同时阿里云提供 OSS上传工具 ossutil，可支 持 Windows,Linux,Mac,详细的下载安装可参考此链接。需要注意，不同平台下，...
基于HBR云上统一备份
场景描述 混合云备份（简称HBR）是一种简单易用且高性价 比的在线备份服务，可以为阿里云ECS，NAS，OSS 以及自建机房内的各类数据提供安全，高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
使用 RESTful API 可以在互联网任何位置存 储和访问，容量和处理能力弹性扩展，多种存储类型供选择全面优化存储成本。更多信息，请参见：https://www.aliyun.com/product/oss 文件存储 NAS：件存储 NAS是一个可共享访问，弹性扩展，高可靠，高性能的 分布式文件系统。兼容 POSIX 文件接口，可支持数千台计算节点共享访问，...
云备份 Cloud Backup
云备份 Cloud Backup作为阿里云数据统一灾备平台，是一种简单易用的公共云灾备服务，可以为阿里云ECS上的数据库、文件系统、NAS、OSS以及自建机房内的文件、虚拟机、大规模NAS等提供安全、高效的备份和容灾保护。图形化界面集中配置备份策略，并完全托管备份活动，轻松满足业务与合规需求。
通过配置数据保护策略，备份数据上云，当数据出现病毒感染，误删误改时从阿里云备份库上直接通过软件还原数据，也可以在云上直接恢复数据实现恢复演练和数据分析.ECS文件及应用备份.ECS上的文件，SAP HANA，自建SQL Server数据库的备份.NAS，OSS文件备份.NAS，OSS数据的全自动备份.阿里云上数据跨地域异地备份.阿里云统一...
来自：
云产品
多媒体数据存储与分发
多媒体数据存储与分发解决方案融合对象存储 OSS、内容分发 CDN 、智能媒体管理 IMM 等产品能力，解决客户多媒体数据存储、处理、加速、分发等业务问题，进而实现低成本、高稳定性的业务目标。本技术解决方案以搭建一个多媒体数据存储与分发服务为例，搭建一个多媒体数据存储与分发服务。
实际情况中可能部分实例无法购买需要根据实际情况调整资源规格，同时因您操作过程中实际使用的流量差异，会导致费用有所变化，请以控制台显示的实际报价以及最终账单为准）对象存储 CDN 智能媒体管理 应用场景 技术方案的广泛应用场景 多媒体音视频海量文件存储 OSS 提供高可靠的海量存储空间和高吞吐带宽，阿里云遍布全球...
来自：
技术解决方案
服务优化新策略：AI大模型助力客户对话分析
在数字化时代，企业面临着海量客户对话数据的处理挑战，迫切需要从这些数据中提取有价值的洞察以提升服务质量和客户体验。本方案旨在介绍如何部署AI大模型实现对客户对话的自动化分析，精准识别客户意图、评估服务互动质量，实现数据驱动决策。
使用对象存储来存储音频文件，利用智能对话分析技术将音频转换为文字，最后通过通义千问大模型对对话内容进行分析，生成详细的分析报告及评分。所有云服务均使用按量计费，可以有效降低您的实施和维护成本。立即部署 20 分钟 0.15~0.2 元/次（以2分38秒示例语音文件为例，使用百炼qwen-max模型运行20次。百炼和函数计算提供...
来自：
技术解决方案
边缘安全加速 ESA 技术解决方案
ESA边缘安全加速基于全球3200+节点，提供边缘加速、边缘安全、边缘计算的产品能力，费用构成简单易懂，提供丰富的监控报表、日志工具，为客户网站提供一流性能体验。
相关产品云服务器ECS对象存储 OSS在线咨询方案优势一键接入方便快捷ESA支持根域名接入加速和防护，提供DNS的托管能力，接入后可设置站点全局配置，也可以自定义子域名配置，提升域名接入和管理的使用效率。自定义加速条件ESA提供各类加速规则，例如回源规则、缓存规则、压缩规则等，可根据自身业务特点，实现按区域回源、...
来自：
云产品
OpenLake大数据&AI一体化解决方案
本方案是基于开放可控数据湖仓构建的大数据/搜索/AI一体化解决方案。通过元数据管理平台DLF管理结构化和半/非结构化数据，提供湖仓数据表和文件的安全访问及IO加速。支持多引擎对接和平权协同计算，通过DataWorks统一开发，并保障大规模任务调度。
总体架构包括：1、统一元服务和存储（Meta Service）：数据湖构建（Data Lake Formation）提供了全托管的统一元数据服务，包括元数据管理、权限管理和引擎对接等能力，支持全托管/半托管OSS湖存储、Paimon等多种湖表格式，以及图片/视频和AI模型等文件的统一存储。2、平权的多计算引擎（Multi-Engine）：跨数据、搜索和AI...
来自：
技术解决方案
- 产品推荐
- 这些文档可能帮助您