基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化<em>文件</em>实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
应用场景 现在绝大多数客户都有很多非结构化的数据 OSS中,以图片,视频,音频居多。举一个 产品列表 图片处理的场景,现在各种终端种类繁多,不同 专有网络VPC  的终端对图片的格式、分辨率要求也不同,所以  阿里云函数计算(FC)一张图片往往会有很多张衍生,那如果所有的  阿里云对象存储(OSS)衍生都存在...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
步骤8 双击中的 vpc和vswitch,并右侧根据前期的规划配置合适的网段。文档版本:20240204 8 基于云速搭 CADT部署药物筛选批量计算环境-Serverless版 CADT部署环境 步骤9 双击ehpc登录节点,右侧属性项中,按下面说明配置。镜像请选择自定义镜像或者共享镜像。镜像需联系本文作者或者阿里云对接商务提 供。ECS的规格...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
文件下载加速及成本优化
通过分布于全球的CDN节点来缓存源站的文件内容,并且调度用户请求到最近的CDN节点上快速下载所需文件,因此能够加快文件下载速度,提高网站性能。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台文件下载加速及成本优化方案介绍方案优势应用场景方案部署方案权益文件下载加速及成本优化方案使用阿里云CDN来加快源站内容的分发速度,通过分布于全球的CDN节点来缓存源站的文件内容,并且调度用户请求到最近的CDN节点上快速下载所需文件...
来自: 解决方案
文件存储NAS
文件存储(Network Attached Storage,简称NAS),是阿里云对外提供的兼容POSXI接口的分布式文件存储,容量和处理能力的弹性扩展,按实际容量付费真正使您专注于核心业务。
将数据保存在本地磁盘上,可能会打爆本地硬盘造成系统故障,需要将这些log方便、低成本并集中化的保存在NAS存储上.需要POSIX协议和共享读写能力,支持多应用和多系统便捷写入.数据不断积累,需要提供弹性空间和成本优化,降低存储成本.日志一般是小IO写入,需要足够的IOPS能力保障数据写入速度.场景需求与痛点.通用型NAS...
来自: 云产品
云速搭部署 NAS 文件系统
云速搭部署 NAS <em>文件</em>系统
本实践通过云速搭构建一个 NAS,并将 NAS 文件系统挂载到 ECS 的目录上。
云速搭部署 NAS文件系统 文档版本信息 云速搭 部署 NAS文件系统 最佳实践 文档版本:20211027(发布日期)云速搭部署 NAS文件系统 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署 NAS文件系统 文档编号 245 文档版本 V1.0 版本日期 2021-10-27 文档状态 对外发布 制作人 洁谦 文档变更记录 版本编号 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS,云速搭CADT
文件存储CPFS
阿里云文件存储CPFS是完全托管、可扩展的并行文件存储系统。针对高性能计算场景的性能要求进行了深度优化,提供对数据毫秒级的访问和百万级IOPS的数据读写请求。
了解什么是文件存储 CPFS.阿里云文件存储 CPFS 使用指南.阿里云文件存储 CPFS 常见问题解答.文件存储 CPFS最新发布.高性能计算存储解决方案.阿里云 AI 训练解决方案.AI 模型训练最佳实践.CPFS 摘获至顶网《2022 年度云存储产品》奖.CPFS 自动驾驶行业最佳实践-轻舟智航.阿里云存储标杆案例样板间上线啦.CPFS 智算版性能和...
来自: 云产品
低成本跨境文件传输
低成本跨境<em>文件</em>传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本:开发人员关注代码逻辑即可; 2.网络成本低:相比CEN高速通道的方式网 络成本降低; 3.同步服务部署成本低:文件发生变化触发函 数计算任务,按量触发,不用准备ECS; 4.弹性高效:一个文件同步触发一个函数工作 流任务,充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
文档版本:20211025(发布日期)15 低成本跨境文件传输最佳实践 配置实验环境 第 三 组 是 超 大 。initMultipartUpload,uploadParts,completeMultipartUpload 函数负责处理超大文件。项目详细流程和处理逻辑参考:https://github.com/awesome-fnf/oss-copy 步骤1 下载 oss-copy源码 cd/opt yum install-y git git...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,函数计算,Serverless 工作流
录音文件识别
阿里云录音文件识别可对用户上传的录音文件进行识别,上传完之后24小时内完成识别并返回识别文本。可用于呼叫中心语音质检、庭审数据库录入、会议记录总结、医院病历录入等场景。支持金融、保险、司法、电商、智能家居等多个领域语音识别。
提交录音文件识别请求后,商业用户的转写任务可3小时之内完成识别并返回识别文本,最新发布极速版支持30分钟以内时长的音频转写完成时间不超过10秒。如有大规模数据转写需求或私有化部署(本地部署软件)需求,及商务问题,请联系:nls_support@service.aliyun.com. 录音文件识别.查看更多商品.更多产品与服务.开发文档与...
来自: 云产品
数据库文件存储DBFS
阿里云数据库文件存储DBFS基于共享存储架构,支持数据库定制和共享读写的线性扩展能力,提供低成本、高性能、高可用的存储服务,助力客户数据库业务无缝迁移上云。
快速了解数据库文件存储.数据库文件存储API手册.产品使用最佳实践.常见问题供查阅参考.查看全部日志.存储容量.性能.功能.生态.业务场景.min{1800+50*容量,1000000}.min{100+0.5*容量,4000}MBps.OLTP、OLAP、NoSQL等.min{1800+50*容量,8000000}.min{100+0.5*容量,32000}MBps.中大型OLTP、高性能OLAP、NoSQL等.通过原子写,...
来自: 云产品
企业上云workshop
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统,业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上, 包括如何在云上构建以上业务系统,如何迁移线下 系统到云上,如何割接。 3. 最后介绍了迁移上云后,如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
Wordpress 储 上 传 的 路 径 为/usr/share/nginx/wordpress/wp-content/uploads,因此需要将 NAS挂载至此目录下。先创建该目录:mkdir-p/usr/share/nginx/wordpress/wp-content/uploads 步骤3 挂载 NAS实例。根据 3.2.获取 NAS实例挂载点获取的挂载命令,修改挂载点为 wordpress uploads 目录/usr/share/nginx/...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
通过下面命令将 master、slave1、slave2 和 slave3 这 4 个节点上的公钥文件/root/.ssh/id_rsa.pub内容拷贝到 master节点的/root/.ssh/authorized_keys 中。cat/root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys 文档版本:20210425 8 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 基础环境搭建 ssh ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
基于弹性计算的AI推理
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前,模型已经训练完成。例如,刷脸 支付中,我们在刷脸的时候,就是推理的一个过 程。再比如图像分类,目标检测,语音识别,语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
cd perseus-inference/ls cp-r resnet50_*/mnt/cd/mnt rm-rf/mnt/lost+found/ls 45 企业上云实践 基于弹性计算的 AI推理|部署飞天 AI加速推理工具的 demo 注意:这里镜像启动时,会/mnt目录下找第一个文件夹下的model.config ,如果找不到容器无法启动。4.4.使用 arena 部署 model server 4.4.1.安装最新版本的 arena...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
云端影视渲染
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构,本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群,集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩,资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
步骤5 用户信息列表,下载保存包含 AK信息的 CSV文件,勾选 bcs-as用户,并单击添 加权限。步骤6 添加权限侧边页,搜索并添加 AliyunBatchComputeFullAccess权限。步骤7 确认授权结果,单击完成。文档版本:20200220 106 云端影视渲染 自动伸缩脚本部署及验证 8.3.部署伸缩脚本 本节介绍 Deadline Server上部署批量...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS,VPN网关,批量计算
Spark on ECI大数据分析
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容,兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构,结合阿里云原生云 存储产品,海量数据湖优势。 3.Kubernetes原生的调度性能优势,提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足,计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离,大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
如下所示,是 SparkApplication的作业 yaml文件示例和必要的参数配置说明,用户 实际应用中可根据实际业务需要进行配置。文档版本:20200409 24 Spark on ECI大数据分析 Spark on Kubernetes实践方案对比 步骤4 提交作业。1.首先删除之前保存分析作业结果的目录。2.然后 SparkApplication.yaml文件所在的目录提交作业...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,容器服务 ACK,弹性容器实例 ECI,文件存储HDFS
基于HBR云上统一备份
基于HBR云上统一备份
场景描述 混合云备份(简称HBR)是一种简单易用且高性价 比的在线备份服务,可以为阿里云ECS,NAS,OSS 以及自建机房内的各类数据提供安全,高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
view=sql-server-ver15,下载 AdventureWorks的 demo文件 到 C:\。步骤2 还原数据库。文档版本:20210402 118 HBR云上统一备份 ECS自建SQL Server备份 文档版本:20210402 119 HBR云上统一备份 ECS自建SQL Server备份 文档版本:20210402 120 HBR云上统一备份 ECS自建SQL Server备份 步骤3 还原成功。步骤4 查看 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,混合云备份,云速搭
企业用户多账号合并之存储迁移集中
企业用户多账号合并之存储迁移集中
场景描述 本文介绍使用在线迁移服务,将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求,统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问,数据统一需求。 3.系统架构及资源成本优化需求,多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
解决问题 1....2.业务系统相互访问,数据统一需求。...本产品提供丰富的预制应用架构模板,同时也支 持自助拖拽方式定义应用云上架构;支持较多阿里云服务的配置和管理。用户可 以方便的对云上架构方案的...可根据迁移报表内的详细迁移日志文件确认每个文件迁移状态,详细迁移日志保存在 目的地址 bucket下。文档版本:20220505 20
来自: 最佳实践 | 相关产品:对象存储 OSS,文件存储NAS,访问控制,云速搭
数据迁移上云
数据迁移上云
随着越来越多的企业选择将业务系统上云,各种类型的数据如何便捷、平滑的迁移上 云,成了用户上云较为关注的点;业务上云后,因为业务或者其他方面调整等因素, 也存在如跨区域,跨账号等数据迁移的场景。针对以上需求,阿里云上提供了较为丰 富的工具(如ossimport)、服务(在线迁移服务),旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源,并以杭州区域来模拟线 下IDC(或友商),深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
步骤5 下载 CSV文件保存用户信息(含 AK)。步骤6 用户信息列表,勾选 migrate_user用户,并单击添加权限。11 文档版本:20201013 数据迁移上云最佳实践 测试资源准备 步骤7 添加权限 侧 边 页,并 选 择 AliyunOSSFullAccess、系统权限策略,然后单击完成。步骤8 确认授权结果,单击完成。12 文档版本:20201013 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,云企业网,云速搭CADT
VMware on 弹性裸金属
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属,利用云计算平台提供的弹性基础设 施,降低部分运维成本和学习成本,使用其 擅长的技术工具专注自身业务,实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
步骤3 将 vCenter ISO 下 载 拷 贝 到 windows 服 务 器。本 示 例 使 用 VMware-VIM-all-6.5.0-8307201.iso。文档版本:20191121 51 VMwareon弹性裸金属 安装和部署VMware 步骤4 双击vCenter安装文件。步骤5 双击autorun。步骤6 根据安装向导,完成VMwarevCenterServer的安装。1.适用于Windows的vCenterServer页面...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙)
远程办公-AD管控下的弹性云桌面
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时,IT人员通常会面临以下问题,本文希望通过场景实践的方式,示范如何结合使用不同阿里云产品,来解决这些问题:用户如何管理?企业已有AD用户如何上云?云上共享文件服务权限怎么管?数据安全问题有保障吗?该如何设置?云桌面能使用本地机房或IDC中的服务吗? 本文使用的应用场景: 场景1:客户A在云上新建Windows ActiveDirectory(以下简称AD);弹性云桌面,和NAS文件存储服务部署在AD所在的VPC内。场景2:客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3:客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势: 易部署:弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用,配置实时生效,快速完成部署。 低成本:弹性云桌面无需前期传统硬件投资,帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道,比建立专线更便宜,快速实现混合云。 安全性:VPN网关使用IKE(秘钥交换协议)和IPSec对传输数据或进行加密,保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控:通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云,和文件级别的权限管控。
注意:用 Windows文件资源管理器访问和使用文件系统模式下,阿里云 SMB 系统并没有实际加入用户的 AD域。如果不是通过本地磁盘路径 C:\myshare访问 文件系统,而是通过普通网络路径\ as-mount-point.nas.aliyuncs.com\myshare访 问,设置 ACL时,会遇到因 RPC服务器不可用而无法确定 NAS挂载点是否已加 入域的情况...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,云企业网,VPN网关,云桌面,云速搭CADT
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
E-HPC低成本实现量化策略回测 最佳实践 业务架构 场景描述 量化交易场景下,量化策略的构建流程一般包 括:想法、数据获取、建模、回测、结果分析等,回测过程中往往需要海量的算力,进行大量数 据的分析和处理,如何快速、高效和低成本的进 行批量任务的调度,并快速获取结果是量化领域 遇到的普遍挑战,这也是...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
< 1 2 >
共有2页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用