基于函数计算FC实现物联网音视频处理
基于函数计算FC实现物联网音视频处理
在物联网场景中,智能设备会产生大量的非结构化数据,并且采集量和频率都很高。比如各类摄像头(家用摄像头、车载摄像头、工业监控摄像头等)采集的数据。企业需要对这些非结构化数据做快速的分析和处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
基于函数计算FC实现物联网音视频处理最佳实践 场景描述 业务架构 基于阿里云函数计算FC和云工作流(CloudFlow)实现物联网智能设备采集的音视频做切片、转解码 等视频处理,回传OSS,然后在客户端拉流观看的 自动化流程。应用场景 在物联网场景中,智能设备会产生大量的非结构化数 据,并且采集量和频率都很高。比如各类...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算
基于函数计算实现直播流录制-存储-通知
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
基于函数计算实现直播流录制-存储-通知最佳实践 业务架构 场景描述 基于阿里云函数计算实现直播流的实时录制,录制结束后会把录制的结果写入 OSS 存储桶,并把录制的结果写到消息队列,下游服务可以通 过订阅的方式来消费消息 应用场景 在互娱、教育、电商等行业都会有直播相关的业 务,大部分场合都需要直播相关的业务...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
专有网络 VPC 阿里云交换机 解决问题 阿里云安全组•快速搭建起数据处理全链路 阿里云函数计算(FC)•全链路自适应弹性,无需为流量峰谷做频繁 对象存储 OSS 的手工处理 阿里云云消息队列 Kafka 版•内置 CICD平台能力,灰度,回滚,监控开箱 云速搭 CADT 即用•按量付费,没有资源闲置费用 最佳实 践频道 ...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
对象存储 OSS
阿里云对象存储 OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云备份服务,提供最高可达 99.995 % 的服务可用性。多种存储类型供选择,全面优化存储成本。
2023-06-20对象存储异地多活容灾架构解析系统中最重要的部分是数据同步部分,也就是对象存储跨地域复制(Cross-region Bucket Replication),通过跨不同数据中心,针对用户的数据,进行异步的复制,将源端数据的改动,如新建、覆盖、修改、删除等,同步到另一个地域中去。2023-06-20除了价格降 70%,关于对象存储预留...
来自: 云产品
基于FC实现的Web端视频录制最佳实践
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景,在线教育领域会有直播视频录制的需求,但是往往一个页面上的内容是多种多样的,不止有直播流,可能还有白板,评论等其他元素,如果只是录直播流,那内容是不完整的,所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
对象存储 OSS:对象存储 OSS,是海量、安全、低成本、高可靠的云存储服务。使用 RESTful API 可以在互联网任何位置存储和访问,容量和处理能力弹性扩 展,多种存储类型供选择全面优化存储成本。容器镜像服务 ACR(Alibaba Cloud Container Registry):是面向容器镜像、Helm Chart等符合 OCI标准的云原生制品安全托管及高效...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
举一个 产品列表 图片处理的场景,现在各种终端种类繁多,不同 专有网络VPC  的终端图片的格式、分辨率要求也不同,所以  阿里云函数计算(FC)一张图片往往会有很多张衍生图,那如果所有的  阿里云对象存储(OSS)衍生图都存在OSS中,那存储的成本会增加, 内容分发网络(ContentDeliveryNetwork,CDN) 云速搭...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
本地数据中心基于SMB/NFS协议访问<em>对象</em>存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法,自动识别冷热数据,将热数据保留在本地缓存,保证数据访问体验,无感知的将海量云存储数据接入本地数据中心,拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及,越来越多的用户把自己的业务放到了云上。但是随着业务的发展,如何提高业务的可靠性和连续性,跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持,可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例,对接同一个阿里云OSS Bucket,可以实现快速的异地文件共享和分发,非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合,老业务是从数据中心迁移过来的使用的是标准的存储协议,例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术,支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情,云存储网关正好起到一个桥梁的作用,可以便捷的沟通新旧业务,进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具,用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低),同时挂 载在用户的客户端需要额外的配置和缓存资源,对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关,用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
此处的云存储网关实际就是一台虚拟机,网络访问的要求:既能通过公 网访问阿里云对象存储,又能被本地其他客户端访问。云上网络环境不同于数据中 心,后续章节在配置 Hyper-V网络会有些差别。通过裸金属服务器的模拟也说明 了只要第三方云厂商的计算也有二次虚拟化能力,同样可以使用本地云存储网关 服务,实现第三方云...
来自: 最佳实践 | 相关产品:对象存储 OSS,云存储网关
云速搭部署OSS及资源包最佳实践
云速搭部署OSS及资源包最佳实践
本实践通过云速搭设计一个OSS的架构,通过OSS提供的路径可以下载相应的文件。
用户可 以方便的云上架构方案的成本、部署、运维、回收进行全生命周期的管理。详见:https://www.aliyun.com/product/developerservices/cadt 专有网络 VPC:专有网络(Virtual Private Cloud,简称 VPC),帮助您基于阿里 云构建一个逻辑隔离的专有云。专有网络由逻辑网络设备(如虚拟路由器,虚拟交 换机)组成,可以...
来自: 最佳实践 | 相关产品:对象存储 OSS,云速搭
EMR HBase on OSS存算分离集群快速恢复
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务(JindoFS服务)是一款云原生数据湖存储产品。基于统一的元数据管理能力,在完全兼容HDFS文件系统接口的同时,提供充分的POSIX能力支持,能更好地满足大数据和AI等领域的数据湖计算场景。
用户可 以方便的云上架构方案的成本、部署、运维、回收进行全生命周期的管理。详见:https://www.aliyun.com/product/developerservices/cadt 专有网络 VPC:专有网络(Virtual Private Cloud,简称 VPC),帮助您基于阿里 云构建一个逻辑隔离的专有云。专有网络由逻辑网络设备(如虚拟路由器,虚拟交 换机)组成,可以...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,E-MapReduce,云速搭CADT
数据库异地灾备
数据库异地灾备
场景描述 适用于不满足于单地域,对数据可靠性 (RPO)和服务可用性(RTO)要求更高 的,希望防范断电、断网等机房故障,抵 御地震、台风等自然灾害,具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份,RPO达到秒级 2.表级恢复,故障恢复时间大大缩短 3.长期归档,自动管理备份生命周期 4.异地灾备,构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP(EIP) 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
(风险说明:选择“遇到同名 则重命名”选项后,在恢复期间,存在小概率情况,增量数据无法恢复,推 荐方案:恢复前,手工处理目标数据库同名对象)本例中选遇到同名对象则重命名。恢复对象:ᅳ 源数据库对象:可以选择恢复全部数据库,或者选择恢复其中一个数据库,或 者恢复其中几张表。ᅳ 已选择数据库对象:DBS恢复...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据管理,数据湖分析,数据库备份DBS,云速搭CADT
影视数据分发汇集与传输加速
影视数据分发汇集与传输加速
场景描述 使用阿里云对象存储服务OSS及OSSBrowser 工具,实现影视数据多用户多地域分发、汇集, 以及传输加速的最佳实践。 解决问题 1.跨地域、多角色、分权限文件上传、下载。 2.基于OSS及其客户端实现Serverless文件 分发服务(可替换传统FTP服务)。 3.OSS文件传输全球加速。 产品列表 lOSS lRAM
影视数据分发汇集与传输加速 场景描述 业务架构 使用阿里云对象存储服务 OSS及 OSSBrowser 工具,实现影视数据多用户多地域分发、汇集,以及传输加速的最佳实践。解决问题 1.跨地域、多角色、分权限文件上传、下载。2.基于 OSS及其客户端实现 Serverless文件 分发服务(可替换传统 FTP服务)。3.OSS文件传输全球加速。产品...
来自: 最佳实践 | 相关产品:对象存储 OSS,访问控制
云速搭部署基于OSS的Nextcloud网盘
云速搭部署基于OSS的Nextcloud网盘
通过云速搭实现基于OSS的NextCloud网盘的部署,这里使用ECS的UserData特性自动安装MySQL等组件,减少配置工作量。
资源分类 资源名称 网段 Region 成都-VPC vpc-chengdu-001 192.168.0.0/16 AZ vswitch-a 192.168.0.0/24 云服务器 ECS ecs-对象存储 OSS nextcloud-test-112-文档版本:20220328 10 云速搭部署基于 OSS的 Nextcloud 网盘 CADT部署基于OSS的Nextcloud网盘应用架构 2.CADT部署基于 OSS的 Nextcloud网盘应用架构 2.1....
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,云速搭CADT
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
需要高弹性高性能方案 – 快速扩缩容、专有网络 VPC 分布式并行处理、快速获取高规格的服 对象存储 OSS 务器(例如大内存,高 CPU数,多 GPU 弹性高性能计算 E-HPC 卡)等。弹性公网 IP 文件存储 NAS 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 E-HPC低成本实现...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
云速搭部署Flink应用
云速搭部署Flink应用
本水煎通过云速搭实现一个DataHub+Flink的实时流计算引擎架构,利用DataHub收集原始数据,推送到Flink进行基于流式数据的分析和应用。
已开通以下服务:ᅳ 专有网络 VPC ᅳ 云速搭 CADT ᅳ 实时计算 Flink ᅳ 数据总线 DataHub ᅳ 对象存储 OSS 文档版本:20211103 2 云速搭部署 Flink应用 产品介绍 产品介绍 云速搭 CADT:是一款为上云应用提供自助式云架构管理的产品,显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板,同时也...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,实时计算,数据总线,云速搭CADT
企业用户多账号合并之存储迁移集中
企业用户多账号合并之存储迁移集中
场景描述 本文介绍使用在线迁移服务,将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求,统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问,数据统一需求。 3.系统架构及资源成本优化需求,多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
使用数 据迁移服务,您可以将第三方数据轻松迁移至阿里云对象存储 OSS,也可以在 存储 OSS 之 间 进 行 灵 活 的 数 据 迁 移。详 见 https://help.aliyun.com/product/94157.html 文档版本:20220505 III 企业用户多账号合并之存储迁移集中部署 目录 目录 文档版本信息.I 法律声明.II 产品介绍.III 目录.IV 最佳实践...
来自: 最佳实践 | 相关产品:对象存储 OSS,文件存储NAS,访问控制,云速搭
机场视频监控
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业,将线下视频文件通过混合云阵列缓存后,通过专线上传到阿里云OSS上。 也适用于其他混合云场景中,利用阵列缓存文件,并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道(专线)
用oss2.BucketIterator遍历 service=oss2.Service(oss2.Auth(access_key_id,access_key_secret),endpoint)61 企业上云实践 机场视频监控最佳实践 print(' '.join(info.namefor infoinoss2.BucketIterator(service)))#创建Bucket对象,所有Object相关的接口都可以通过Bucket对象来进行 bucket=oss2.Bucket(oss2.Auth(access_...
来自: 最佳实践 | 相关产品:对象存储 OSS,高速通道,混合云存储阵列 Hybrid Cloud
基于SLS实现统一告警最佳实践
基于SLS实现统一告警最佳实践
告警对于企业的开发运维,安全运维,业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题,SLS告警提供了一站式云上告警管理方案,具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台,实现在SLS上一站式管理告警。
对象存储 OSS 2.使用 SLS告警具有更低的成本,无订 云服务器 ECS 阅费,免运维,渠道收费低。专有网络 VPC 3.告警全链路降噪及管理。云速搭 CADT 最佳实践频道 阿里云最佳实践技术分享群 阿里云 企业上云实践 基于 SLS实现统一告警 最佳实践 文档版本:20211021 文档版本:20150122(发布日期)II 基于 SLS实现统一告警最佳...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,弹性公网IP,日志服务(SLS),云速搭CADT
企业上云数据安全
企业上云数据安全
场景描述 企业是否选择上公共云,或者哪些系统或数据上 公共云,对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴,即首先使用SDDP产品进行敏感数据发 现和分级分类,然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
企业上云数据安全 最佳实践 部署架构图 场景描述 企业是否选择上公共云,或者哪些系统或数据 上公共云,数据安全的关心是重要因素之 一。本最佳实践重点在于介绍狭义的数据加密 存储安全范畴,即首先使用 SDDP产品进行敏 感数据发现和分级分类,然后高级别敏感数 据进行按需、不同类型的全链路加密存储。解决问题 1....
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,密钥管理服务,敏感数据保护,云速搭CADT
Spark on ECI大数据分析
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容,兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构,结合阿里云原生云 存储产品,海量数据湖优势。 3.Kubernetes原生的调度性能优势,提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足,计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离,大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
应用范围 需要使用 Spark on Kubernetes解决方案的用户 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS:阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务,允许用户像在 Hadoop分布式文件系统中管理和访问数 据,...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,容器服务 ACK,弹性容器实例 ECI,文件存储HDFS
云平台内部操作透明化
云平台内部操作透明化
场景描述 云平台基于用户的请求或监管要求等,进行的内 部操作对用户如果不可见,用户可能会担心自己 的数据是否收到了影响或者是否被触碰了,影响 用户对平台的信任。 解决问题 1.内部操作对用户可见 2.增强用户对平台的可信度 产品列表 操作审计Actiontrail 对象存储OSS 日志服务SLS
增强用户平台的可信度 产品列表  操作审计Actiontrail  对象存储OSS  日志服务SLS云服务器ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 云平台内部操作透明化 最佳实践 文档版本:20200630 文档版本:20150122(发布日期)2云平台内部操作透明化 文档版本信息 文档版本信息 文本信息 属性 内容 文档...
来自: 最佳实践 | 相关产品:对象存储 OSS,日志服务(SLS),操作审计
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用