基于函数计算FC实现物联网音视频处理
基于函数计算FC实现物联网音视频处理
在物联网场景中,智能设备会产生大量的非结构化数据,并且采集量和频率都很高。比如各类摄像头(家用摄像头、车载摄像头、工业监控摄像头等)采集的数据。企业需要对这些非结构化数据做快速的分析和处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
 iot_video_process_original_videos/:存放原始视频(比如高清视频),也就是在6.2 文档版本:20240502 64基于函数计算FC实现物联网音视频处理最佳实践 场景验证 章节通过接口发送的视频文件。可以看到原始视频的大小是38.596MB。 iot_video_process_split_videos/:存放切分后的视频。该路径下还有一层原始视频 名称...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
基于函数计算 FC实现阿里云 Kafka消息轻量级ETL处理 最佳...文档版本:20240408 27 基于函数计算 FC实现阿里云 Kafka消息轻量级 ETL处理 场景验证 如果通过 CADT 只是部分释放成功,需要去对应的产品控制台进行清理避免产生非预 期费用,如果通过控制台清理仍然失败,请提交工给对应的产品进行处理。文档版本:20240408 28
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
文档版本:20240330 44基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 场景验证  oss_bucket_for_metadata:根据实际需求填写OSSBucket名称,为了存放Topic,Group信息文件。 source_kafka_instance_id:业务系统Kafka实例的实例ID。 target_kafka_endpoint:ECS上自建Kafka的连接地址,输入:9092(ECS...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
基于弹性计算的AI推理
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前,模型已经训练完成。例如,刷脸 支付中,我们在刷脸的时候,就是推理的一个过 程。再比如图像分类,目标检测,语音识别,语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
cd perseus-inference/ls cp-r resnet50_*/mnt/cd/mnt rm-rf/mnt/lost+found/ls 45 企业上云实践 基于弹性计算的 AI推理|部署飞天 AI加速推理工具的 demo 注意:这里镜像启动时,会在/mnt目录下找第一个文件夹下的model.config ,如果找不到容器无法启动。4.4.使用 arena 部署 model server 4.4.1.安装最新版本的 arena...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
Exchange Server云上部署最佳实践
Exchange Server云上部署最佳实践
阿里云提供基础设施服务,能够以高可用、高容错且经济实惠的方式将Exchange Server部署在云上。通过在 阿里云上部署,可以获得Exchange Server的功能以及阿里云天然灵活性和安全性。
证书安装及设置 步骤1 在证书申请前,先在 EX1的 D盘上创建一个共享文件夹,用于存放证书请求文件。文档版本:20220119 85 Exchange Server云上部署最佳实践 配置 Exchange Server 文档版本:20220119 86 Exchange Server云上部署最佳实践 配置 Exchange Server 步骤2 打开 ECA并转到服务器>证书>+。文档版本:20220119 87 ...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,NAT网关,SSL证书,云速搭CADT
函数计算实现弹性音视频处理系统
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用,每天 有大量的上传视频,需要及时转码处理以适配各 种终端及网络条件,要求短时间内准备大量的计 算资源进行大规模并行转码处理,同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
详见 https://cn.aliyun.com/product/fc NAS: 阿里云文件存储(NAS)Network Attached Storage是一种分布式的网络 存储,为 ECS、HPC、FC 等提供安全、无限容量、高性能、高可靠、简单易 用的文件存储服务。FC与 NAS无缝集成。这使您的函数可以像访问本地文件系 统一样编写访问存储在其中一个 NAS 文件系统上的文件。...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,文件存储NAS,日志服务(SLS),Serverless 工作流
企业上云workshop
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统,业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上, 包括如何在云上构建以上业务系统,如何迁移线下 系统到云上,如何割接。 3. 最后介绍了迁移上云后,如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
Wordpress 储 上 传 的 路 径 为/usr/share/nginx/wordpress/wp-content/uploads,因此需要将 NAS挂载至此目录下。先创建该目录:mkdir-p/usr/share/nginx/wordpress/wp-content/uploads 步骤3 挂载 NAS实例。根据 3.2.获取 NAS实例挂载点获取的挂载命令,修改挂载点为 wordpress uploads 目录/usr/share/nginx/...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
阿里云盘企业版
阿里云盘企业版(Cloud Drive Enterprise Edition, 简称 CDE)是基于阿里云存储高可用及高安全能力提供的一项企业级云存储服务
统一存放和管理企业重要的文件资料,提供各类文件增删改查功能,符合用户在本地电脑管理文件的使用习惯,实现本地与云上无差别管理.提供文件上传下载、新建文件及文件夹、移动、复制、删除、排序、收藏、备注等一系列的文件管理能力.提供文档、图片、音频、视频等十几种文件格式的预览.支持按照文件名称、文件类型、文件...
来自: 云产品
网盘与相册服务
网盘与相册服务基于阿里云高可用存储及高安全水位的能力,帮助客户解决办公数据的搜索、管理、共享、审计等文件管理难题,同时也可为企业办公新形态升级提供打包服务。
统一存放和管理企业重要的文件资料,提供各类文件增删改查功能,符合用户在本地电脑管理文件的使用习惯,实现本地与云上无差别管理.提供文件上传下载、新建文件及文件夹、移动、复制、删除、排序、收藏、备注等一系列的文件管理能力.提供文档、图片、音频、视频等十几种文件格式的预览.支持按照文件名称、文件类型、文件...
来自: 云产品
网盘与相册服务PDS
网盘与相册服务(简称PDS)是阿里云为客户提供的面向企业、团队与个人的数据管理开放平台,提供一站式数据存储、分析和AI的能力。方便客户快速高效的构建可支撑海量用户的网盘与相册服务,同时针对团队及个人用户,支持免开发开箱即用。
统一存放和管理企业重要的文件资料,提供各类文件增删改查功能,符合用户在本地电脑管理文件的使用习惯,实现本地与云上无差别管理.提供文件上传下载、新建文件及文件夹、移动、复制、删除、排序、收藏、备注等一系列的文件管理能力.提供文档、图片、音频、视频等十几种文件格式的预览.支持按照文件名称、文件类型、文件...
来自: 云产品
Function Compute搭建前端CICD系统
Function Compute搭建前端CICD系统
场景描述 传统动静不分离的产品架构,随着访问量在增 长,性能会成为瓶颈。在这种情况下,用户可以 通过利用OSS和CDN对网站进行架构优化, 做到网站文件的动静分离,提升用户访问体验, 实现成本可控。本方案使用函数计算监听前端代 码库提交的分支变更,上传分支文件至OSS,通 过CDN进行前端资源加速。 方案优势 1.面向serverless:无需购买服务器 2.免运维:无需部署配置Jenkins 3.提供日志查询、性能监控和报警等功能 4.一站式:事件驱动方式触发响应 5.费用极低:按需付费 产品列表 专有网络VPC 对象存储OSS 日志服务SLS 函数计算 CDN
存放在/tmp目录 61.gitclone='GIT_SSH="/tmp/my_ssh_executable.sh"git clone-b {b} {u}'.format(b=branch,u=sshurl)62.subprocess.Popen([gitclone],shell=True,cwd='/tmp')63.#下载分支文件需要时间,根据实际文件大小大致设置等待时间,单位是秒 64.time.sleep(5)65.66.#遍历下载分支的所有文件,上传至OSS 67.rt=...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,日志服务(SLS),函数计算,CDN
EHPC工业仿真
EHPC工业仿真
场景描述 本实践适用于使用弹性高性能计算EHPC+ 对象存储OSS运行仿真软件进行模型仿真 的场景中,这里运行的是LAMMPS这款开 源的仿真软件,数据通过OSS上传。 解决问题 1.使用EHPC运行工业仿真软件 2.使用OSS存储数据和代码 3.可视化计算结果 产品列表 弹性高性能计算E-HPC 对象存储OSS
OSS 适合 存放任意类型的文件,适合各种网站、开发企业及开发者使用。按实际容量付费真正使您 专注于核心业务。III EHPC工业仿真最佳实践 前置条件 目录 文档版本信息.I 法律声明.II 前言.III 目录.1 前置条件.2 资源规划.3 1.搭建基础环境.4 1.1.开通产品及服务.4 1.2.利用 CADT构建基础环境.5 2.运行作业.10 2.1.添加用户...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,弹性高性能计算E-HPC
EHPC混合云渲染
EHPC混合云渲染
介绍在混合云环境下,利用E-HPC及其文件缓存机制,无缝读取线下存储中的项目资产,免去复杂繁琐的文件同步问题;充分利用云上资源弹性、按使用付费的优势,构建高性能、高可靠和可扩展的渲染服务。 解决问题 l混合云环境下本地集群与云端集群一体化的渲染服务。 l避免繁琐复杂的本地与云端的文件同步问题。 l低成本、高效率应对渲染业务峰值。 产品列表 l云服务器、GPU云服务器 l高性能计算E-HPC l专有网络VPC l云企业网CEN l弹性公网IP EIP l访问控制RAM l文件存储NAS
netdev,minorversion=0,noresvport 0 0">>/etc/fstab#用作混合云缓存的云 NAS挂载命令写入 fstab,V4方式挂载 echo"${IDC_NAS_ADDRESS}${IDC_MOUNTPOINT}_tmp${IDC_NAS_MOUNTPARA}">>/etc/fstab# 用户渲染素材的 IDC NAS挂载命令写入 fstab mount-a mkdir-p${EHPC_CACHE_MOUNTPOINT}/ehpc-cache echo"create ehpcfs ...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网,GPU云服务器,弹性高性能计算E-HPC
云上成本优化workshop
云上成本优化workshop
某金融科技公司,它主要提供信贷,理财,电商等 服务,目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后,今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障,运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务, 白天的催收非常依赖晚上大数据计算的结果,若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做,会对公司业务造成严重影响。 后来,通过阿里云解决方案架构师建议的方案,将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法,目前已阶段性的解决因资源不足导致弹性扩 容失败的问题,但该方案在 Spot 计算资源不足 时,启用大量按量收费算力,带来了较高的成本, 并且抢占式实例和按量付费实例都不保证资源 100%交付,还是存在交付失败的可能性,特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在,就进一步增加了弹性扩 容失败的风险,从而影响业务正常运行。
首次使用,需要选择一个区域存放全局的相关告警等信息,该日志库的数据写入、查 询与存储免费,也可以之后切换到其他区域。文档版本:20210329 41 云上成本优化 workshop 成本可视 步骤4 查看邮件提醒效果图。5.3.添加自定义仪表盘 5.4.添加自定义图表 1、添加“ECS资源数量”图表 source:instance_bill and productcode:...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
机场视频监控
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业,将线下视频文件通过混合云阵列缓存后,通过专线上传到阿里云OSS上。 也适用于其他混合云场景中,利用阵列缓存文件,并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道(专线)
也适用于其他混合云场景中,利用阵列缓存 ,并通过网络传输到阿里云OSS上的场景。解决问题  1.通过混合云阵列+专线将线下文件传到阿 里云OSS上  2.通过阿里云OSS跨区域复制功能实现异 地文件备份  3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表  OSS对象存储  混合云阵列  高速通道...
来自: 最佳实践 | 相关产品:对象存储 OSS,高速通道,混合云存储阵列 Hybrid Cloud
在线教育流量洪峰
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题,通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据,通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
冷热分层:通过将热数据存放在 SSD存储,将冷数据存放在 HDD存储,实现对 成本和性能的平衡。分时弹性:如果客户能预知流量洪峰出现的准确时间,可以通过定义资源弹性计 划,在洪峰出现的时段增加数据库的规格,满足性能需求。同时,在洪峰过去后自 动降低规格,实现成本优化。5.2.场景五:复杂 SQL查询 请预先创建好 ADB...
来自: 最佳实践 | 相关产品:云数据库 Redis 版,云数据库PolarDB,云原生数据仓库AnalyticDB My,Quick BI
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫,如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题,阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建,有效助力疫情防。 方案优势: 1、性能优越:Ganos作为自研的时空数据库引擎,相比postgis性能更优秀。 2、安全稳定:故障自动切换自愈,资源隔离,多副本存储。 3、简单易用:开箱即用,兼容postgresql,打通quickbi快速搭建数据分析展示。 4、功能强大:相比postgis在时空模型上做了较多扩充,支持几何模型,栅格模型,网络模型,时空轨迹模型,点云模型,拓扑网络模型。
阿里云数据库快速搭建疫情分析系统 最佳实践 业务架构 场景描述 疫情降临,疫情态势分析和防控任务迫在眉 睫,如果快速搭建高效的疫情态势分析系统 第三方 GIS数据接入 是众多部门和单位的难题,阿里云 RDS PG+Ganos解决方案可在极短时间内完成 分析系统搭建,有效助力疫情防控。GIS数据管理平台 方案优势 1.快速搭建,快速...
来自: 最佳实践 | 相关产品:云服务器ECS,访问控制,云数据库PolarDB,Quick BI
文件下载加速及成本优化
方案使用阿里云CDN来加快源站内容的分发速度,通过分布于全球的CDN节点来缓存源站的文件内容,并且调度用户请求到最近的CDN节点上快速下载所需文件,因此能够加快文件下载速度,提高网站性能。核心优势包括改善用户体验,提高网站可访问性,在降低源站服务器负载的同时,还能够节约源站的流量成本。
视频流媒体播放 视频网站将视频文件存放在OSS上,然后再配合CDN的流媒体内容分发、文件预热等技术,确保流畅播放,防盗链,降低带宽成本。电商网站访问 电商网站通过CDN预热,全球缓存商品图片,智能调度用户访问请求到CDN边缘节点,提高页面加载速度,改善用户的购物体验。优惠购买 阿里云为你推荐优惠购买云产品 优惠购买...
告别资源瓶颈,函数计算驱动多媒体文件处理
本方案推荐使用函数计算,利用事件驱动和异步任务的方式,将文件处理任务与核心应用解耦,同时依靠函数计算自动弹性扩展和按使用付费的优势,提升高并发的处理效率和服务稳定性。
本方案推荐使用函数计算,利用事件驱动和异步任务的方式,将文件处理任务与核心应用解耦,同时依靠函数计算自动弹性扩展和按使用付费的优势,提升高并发的处理效率和服务稳定性。告别资源瓶颈,函数计算驱动多媒体文件处理 本方案推荐使用函数计算,利用事件驱动和异步任务的方式,将文件处理任务与核心应用解耦,同时依靠...
基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化<em>文件</em>实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
基于OSSObjectFC实现非结构化文件实时处理最佳实践 业务架构 场景描述 基于阿里云OSS和函数计算共同实现的产品化 集成解决方案OSSObjectFC,实现可以OSS 中的非结构化数据在读取时插入自定义业务逻 辑,对非结构化数据做实时处理后再返回。应用场景 现在绝大多数客户都有很多非结构化的数据 在OSS中,以图片,视频,音频...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用