基于OSS Object FC实现非结构化文件实时处理最佳实践
基于<em>OSS</em> Object FC实现非结构化<em>文件</em>实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
举一个 产品列表 图片处理的场景,现在各种终端种类繁多,不同 专有网络VPC  的终端对图片的格式、分辨率要求也不同,所以  阿里函数计算(FC)一张图片往往会有很多张衍生图,那如果所有的  阿里云对象存储OSS)衍生图都存在OSS中,那存储的成本会增加, 内容分发网络(ContentDeliveryNetwork,CDN) 云速搭...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算
基于HBR上统一备份
基于HBR<em>云</em>上统一备份
场景描述 混合云备份(简称HBR)是一种简单易用且高性价 比的在线备份服务,可以为阿里云ECS,NAS,OSS 以及自建机房内的各类数据提供安全,高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
产品列表 适用资源 混合备份 HBR ECS文件系统 服务器 ECS NAS文件 文件系统 NAS OSS文件 对象存储 OSS ECS上自建的 SQL Server数据库 ECS上自建的 My SQL 数据库 ECS上自建的 Oracle 数据库 ECS上自建的 SAP HANA数据库 阿里最佳实践技术分享群 最佳实践频道 服务器 ECS(产品名称)文档模板(手册名称)/文档...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,混合云备份,云速搭
自建Hive数据仓库跨版本迁移到阿里Databricks数据洞察
自建Hive数据仓库跨版本迁移到阿里<em>云</em>Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
步骤3 查看最新生成的 distcp日志文件,当任务成功完成时,可以查看到相关报告:文档版本:20210425 28 自建 Hive数据仓库跨版本迁移到阿里 Databricks数据洞察 Hive数据迁移 cat distcp.log 登录阿里 OSS文件存储系统/user/hive目录下可以查看到相关的数据。3.2.将自建 Hive元数据库进行转储 在本实践方案中自建 Hive ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
低成本跨境文件传输
低成本跨境<em>文件</em>传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本:开发人员关注代码逻辑即可; 2.网络成本低:相比CEN高速通道的方式网 络成本降低; 3.同步服务部署成本低:文件发生变化触发函 数计算任务,按量触发,不用准备ECS; 4.弹性高效:一个文件同步触发一个函数工作 流任务,充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
应用场景 跨境对象存储数据传输需求 对跨境传输成本控制严苛 能接受一定程度网络抖动带来的文件同 步延迟 系统需要有足够的弹性和扩展性应对大 产品列表 规模文件的写入 服务器 ECS 对象存储 OSS 专有网络 VPC 函数工作流 Serverless Workflow 日志服务 SLS 函数计算 FC 阿里最佳实践分享群 最佳实践频道 如二维码过期...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,函数计算,Serverless 工作流
数据迁移上云
数据迁移上云
随着越来越多的企业选择将业务系统上云,各种类型的数据如何便捷、平滑的迁移上 云,成了用户上云较为关注的点;业务上云后,因为业务或者其他方面调整等因素, 也存在如跨区域,跨账号等数据迁移的场景。针对以上需求,阿里云上提供了较为丰 富的工具(如ossimport)、服务(在线迁移服务),旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源,并以杭州区域来模拟线 下IDC(或友商),深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
使用在线迁移服务,节省您 部署迁移工具的时间,另外图形化的界面也更方便您将第三方数据轻松迁移至阿里 对象存储 OSS,也可以在对象存储 OSS 之间进行灵活的数据迁移。本最佳实践以 IDC的 FTP服务器的文件迁移至 OSS作为测试场景。其中杭州 ECS 安装 FTP服务,模拟 IDC的 FTP服务器。在线迁移需注意以下问题:(1)线...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,云企业网,云速搭CADT
Spark on ECI大数据分析
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容,兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构,结合阿里云原生云 存储产品,海量数据湖优势。 3.Kubernetes原生的调度性能优势,提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足,计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离,大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
同时结合阿里原生的文件存储 HDFS/对象存储 OSS等存储产品,将大数据分析作业运行在 Kubernetes集群上采用 Spark on ACK+ECI的方案架构,同时利用 Spark Operator方式做到轻松完成在计 算与存储分离架构的原生平台上运行大数据分析作业。文档版本:20200409 2 Spark on ECI大数据分析 环境准备 1.环境准备 1.1.创建容器...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,容器服务 ACK,弹性容器实例 ECI,文件存储HDFS
函数计算实现弹性音视频处理系统
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用,每天 有大量的上传视频,需要及时转码处理以适配各 种终端及网络条件,要求短时间内准备大量的计 算资源进行大规模并行转码处理,同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
产品列表 最佳实践频道 Function Compute 服务 文件存储 NAS 对象存储 OSS 函数工作流 FnF 日志服务 SLS 阿里最佳实践分享群 如二维码过期,请搜索群号:31852400 服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里 企业上云实践 Function Compute实现弹性音视频处理系统 最佳实践 文档版本:20201228...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,文件存储NAS,日志服务(SLS),Serverless 工作流
EHPC分子动力学最佳实践
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例,介绍阿里云EHPC分子动力学最佳实践。
阿里账号下已开通以下阿里云服务:ᅳ EHPC服务文件存储 NAS服务对象存储 OSS服务器 ECS ᅳ 云速搭 CADT 下载本文用到的操作命令和代码:以 CentOS主机为例:#yum-y install git#git clone https://code.aliyun.com/best-practice/230.git 其中,samplecode.sh包含了所有使用的命令。如果你是 windows主机,...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC,云速搭CADT
企业上云workshop
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统,业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上, 包括如何在云上构建以上业务系统,如何迁移线下 系统到云上,如何割接。 3. 最后介绍了迁移上云后,如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
解决问题 IDC业务系统搬迁上云 上构建业务系统 部署安全系统 产品列表 最佳实践频道 阿里最佳实践生态群 弹性公网 IP 负载均衡 SLB 专有网络 VPC 服务器 ECS 对象存储 OSS 文件服务 NAS 数据库 RDS 数据库 PolarDB 架构设计工具 CADT Web应用防火墙 SSL证书 防火墙 服务器 ECS(产品名称)文档模板(手册...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
EHPC药物筛选
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境,运行药物筛选应用AutodockVina 的场景中,这里采用批处理方式来提交 作业,并可以可视化计算结果。 方案架构 1.计算之前,将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时,将数据从OSS拉取到文件共享存储NAS上 3.计算时,在EHPC集群上进行,计算节点从NAS上读写数据 • 容量型NAS:低成本,大容量 • 性能型NAS:适合高IOPS应用,作为临时目录 • CPFS:适合超大规模,并行度极高的作业 4.计算节点: • 如果对计算时间不敏感,希望低成本运算,可选ECS实例 • 如果时效性要求高,建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大,可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接(moleculardocking)模拟计算进行药物筛选,是模拟小分子配体和生物大分子受体的 相互作用,预测配体和受体的结合模式和亲和力。 • 通常,有很多已有的配体库,如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体,模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体,不同配体之间没有依赖,因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
使用 OSS保存计算结果 产品列表 弹性高性能计算 E-HPC 文件存储 NAS 对象存储 OSS 云速搭 CADT 最佳实践频道 阿里最佳实践技术分享群 如二维码过期,请搜索群号:31852400 服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里 企业上云实践 EHPC药物筛选最佳实践 文档版本:20210811 II 企业上云实践 EHPC...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC
FastGPU极速AI训练/推理
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境,并使用AIACC加速工具进行加速。
开通以下服务:ᅳ GPU服务器 ᅳ 文件存储 NAS(或者 CPFS)ᅳ 专有网络 VPC ᅳ 对象存储 OSS 2 FastGPU极速 AI推理 FastGPU简介 1.FastGPU简介 FastGPU是⼀套构建在阿⾥上的⼈⼯智能计算极速部署⼯具,其提供便捷的接⼝和⾃动⼯ 具实现⼈⼯智能训练/推理计算在阿⾥ IAAS资源上的快速部署。FastGPU提供两套组件:...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,对象存储 OSS,文件存储NAS,文件存储 CPFS,GPU云服务器
企业用户多账号合并之存储迁移集中
企业用户多账号合并之<em>存储</em>迁移集中
场景描述 本文介绍使用在线迁移服务,将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求,统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问,数据统一需求。 3.系统架构及资源成本优化需求,多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
企业用户多账号合并之存储迁移集中 最佳实践 场景描述 部署架构 本文介绍使用数据迁移服务,将分布在各个 账号中的对象存储文件存储数据集中到一个 账号的对象存储或文件存储下。解决问题 1.安全治理需求,统一的账户体系、身份、权 限及资源管理。2.业务系统相互访问,数据统一需求。3.系统架构及资源成本优化需求,多...
来自: 最佳实践 | 相关产品:对象存储 OSS,文件存储NAS,访问控制,云速搭
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
阿里云对象存储 OSS(Object Storage Service)是一款海量、安全、低成本、高可靠 的存储服务,可提供 99.9999999999%(12个 9)的数据持久性,99.995%的数据 可用性。适合存储回测标的的历史数据。同时阿里提供 OSS上传工具 ossutil,可支 持 Windows,Linux,Mac,详细的下载安装可参考此链接。需要注意,不同平台下,...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
原生企业级数据湖
基于对象存储 OSS 构建的数据湖支持多种数据输入和存储格式,实现数据整合与分析,直接从OSS进行大数据分析以挖掘业务价值。数据湖还提供冷热数据分层和生命周期管理,优化存储成本。
原生企业级数据湖 基于对象存储 OSS 构建的数据湖支持多种数据输入和存储格式,实现数据整合与分析,直接从OSS进行大数据分析以挖掘业务价值。数据湖还提供冷热数据分层和生命周期管理,优化存储成本。在线部署 适用客户 面临数据孤岛问题的企业 需处理海量数据并降低成本的企业 追求高效数据分析与洞察的企业 方案优势 ...
企业级灾备与数据管理
云备份 Cloud Backup 为企业数据安全提供了全方位的云灾备、冷热数据统一管理能力,全面覆盖公共云、混合云以及本地 IDC 生产环境,帮助用户减少因自然灾害、系统故障、运维事故、勒索病毒等造成的数据丢失而带来的业务影响。
估价供参考,请以控制台显示的实际报价以及最终账单为准)备份 服务器 ECS 应用场景 技术方案的广泛应用场景 本地/公共数据统一备份 客户拥有本地机房,或同时在阿里上使用了 ECS、OSS、NAS、Tablestore 等多种资源的场景。阿里 ECS 容灾备份保护 客户需要对阿里 ECS 整机、ECS 文件或者 ECS 数据库进行多维度...
文件下载加速及成本优化
方案使用阿里云CDN来加快源站内容的分发速度,通过分布于全球的CDN节点来缓存源站的文件内容,并且调度用户请求到最近的CDN节点上快速下载所需文件,因此能够加快文件下载速度,提高网站性能。核心优势包括改善用户体验,提高网站可访问性,在降低源站服务器负载的同时,还能够节约源站的流量成本。
架构与部署 文件下载加速及成本优化 使用阿里云OSS存储服务存储电商网站的图片资源,在阿里CDN产品上添加电商网站的访问域名,配置CDN加速域名的源站地址为阿里云OSS,并开启CDN加速域名的文件缓存功能。用户在访问电商网站域名的时候,将被DNS调度到CDN节点,从而直接访问到CDN节点上缓存的文件资源。立即部署 30分钟 ...
告别资源瓶颈,函数计算驱动多媒体文件处理
本方案推荐使用函数计算,利用事件驱动和异步任务的方式,将文件处理任务与核心应用解耦,同时依靠函数计算自动弹性扩展和按使用付费的优势,提升高并发的处理效率和服务稳定性。
架构与部署 使用函数计算实现多媒体文件处理 本方案使用服务器ECS和RDS MySQL版提供WEB服务,通过对象存储OSS存储用户文件。采用服务端签名的WEB直传方式,将文件上传直接发送到OSS,减少对应用网络资源的占用。文件上传到OSS后,通过事件驱动机制触发函数计算执行文件处理任务(示例代码是将PPT转换为PDF并添加水印)。...
边缘安全加速 ESA 技术解决方案
ESA边缘安全加速基于全球3200+节点,提供边缘加速、边缘安全、边缘计算的产品能力,费用构成简单易懂,提供丰富的监控报表、日志工具,为客户网站提供一流性能体验。
相关产品服务器ECS对象存储 OSS在线咨询方案优势一键接入方便快捷ESA支持根域名接入加速和防护,提供DNS的托管能力,接入后可设置站点全局配置,也可以自定义子域名配置,提升域名接入和管理的使用效率。自定义加速条件ESA提供各类加速规则,例如回源规则、缓存规则、压缩规则等,可根据自身业务特点,实现按区域回源、...
来自: 云产品
服务优化新策略:AI大模型助力客户对话分析
在数字化时代,企业面临着海量客户对话数据的处理挑战,迫切需要从这些数据中提取有价值的洞察以提升服务质量和客户体验。本方案旨在介绍如何部署AI大模型实现对客户对话的自动化分析,精准识别客户意图、评估服务互动质量,实现数据驱动决策。
百炼和函数计算提供了免费试用额度、如有额度体验费用会更低)大模型服务平台百炼 对象存储 智能语音交互 函数计算 应用场景 技术方案的广泛应用场景 用户体验提升 分析客服对话,识别用户意图和问题原因,进行产品和服务优化,提供自动化的解决方案和客服培训,提升用户体验。客服质量检测 通过自动录制和上传客服对话,对...
日志安全审计与合规性评估
日志安全审计与合规性评估方案旨在通过集中化采集、存储、分析来自多个系统、应用和设备的日志数据,确保企业数据和系统安全性与合规性。企业合规团队可基于日志审计来输出合规信息,帮助企业优化安全态势,确保业务连续性和数据安全。
日志审计服务覆盖基础(ActionTrail、容器服务Kubernetes版)、存储OSS、NAS)、网络(SLB、ALB、API网关、VPC)、数据库(关系型数据库RDS、原生分布式数据库PolarDB-X 1.0、原生数据库PolarDB)、安全(WAF、DDoS防护、防火墙、安全中心)等产品,并支持自由对接其他生态产品或自有SOC中心。10元(假设您选择...
< 1 2 3 4 ... 11 >
共有11页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用