函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
文档版本：20201228（发布日期）15 Function Compute 实现弹性音视频处理系统 部署 Function Compute 应用 步骤8 部署完成后，在控制台左侧导航栏选择服务-函数，可以看到三个服务：video-transcoder-Nas 是辅助函数，用于部署函数阶段。比如本示例中，将使用的 FFmpeg工具拷贝到 NAS目录，然后编写的代码可以直接使用 NAS...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
创建函数前必须先创建服务，服务就像函 数的集合，同一个服务下的所有函数共享一些相同的设置，例如服务授权和日志配置 等。 服务名称：根据实际业务自行填写。 服务角色：默认选择AliyunFcDefaultRole，如果下拉框没有，请点击创建默认角 色。步骤5 双击函数计算函数img_handle，查看配置信息。文档版本：20240304 3...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
该最佳实践的 Callback 在 Web端视频录制应用创建成功后，除了 recorder函数外，还有 dest-fail和 dest-succ两个函 数，这两个函数就是用来当 recorder执行失败或者执行成功后回调的函数。如果在这两个函数 文档版本：20240325 20 基于 FC实现的 Web端视频录制最佳实践 场景验证 中可以自行实现被回调后的后续处理逻辑。...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
第一个函数调用第二个函数 目前两个函数都创建好了，下面的工作就是由第一个函数接收到数据后拉起第二个函 数发送消息给 Kafka。我们只需要对第一个函数做些许改动即可。步骤1 进入函数计算控制台，找到我们创建的服务下的 fun01这个函数，需要在函数详情页在 线编辑 Python代码，代码修改如下：#-*-coding:utf-8-*-import ...
ECS+EAIS弹性伸缩最佳实践
弹性加速计算实例EAIS通常与ECS配合使用，在大规模的弹性推理场景中，需要实现ECS弹性扩容的过程中自动创建弹性EAIS实例，并绑定到ECS上。当前弹性伸缩组ESS暂不满足此特殊场景的弹性伸缩需求。 本方案将通过结合CADT API、函数计算和Serverless工作流，演示如何快速且以可视化的方式进行此场景的弹性伸缩。
解决方案 本方案将通过结合 CADT API、函数计算和 Serverless工作流，演示如何快速且以可 视化的方式进行此场景的弹性伸缩。演示架构如下图所示：文档版本：20220810 4 ECS+EAIS弹性伸缩 前序工作 1.前序工作 1.1.理解资源级别 每个阿里云资源都有资源级别，本架构中使用的资源如下表所示，这些架构级别在进 行架构设计时...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
使用工具部署函数（可选）本结以 JAVA版本为列，快速通过 Funcraft创建函数，通过这个工具，可以帮助您便 捷地管理函数计算、API 网关、日志服务等资源，快速部署应用。详情请参见功能概 览（https://help.aliyun.com/document_detail/140283.html）。步骤1 准备环境，通过 npm包管理安装，适用于已经预装了 npm的 Windows...
云数据库 RDS MySQL版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
在本教程，您将学习如何创建 RDS MySQL 集群版实例，并使用本地应用程序（Java）连接和配置读写分离。25分钟查看教程查看更多技术解决方案RDS+ClickHouse构建一站式HTAP实时同步RDS与Redis构建缓存一致性系统云化场景高性价比场景RDS+ClickHouse构建一站式HTAP本方案采用RDS MySQL控制台可视化地新增ClickHouse分析节点，...
来自：
云产品
EHPC工业仿真
场景描述 本实践适用于使用弹性高性能计算EHPC+ 对象存储OSS运行仿真软件进行模型仿真 的场景中，这里运行的是LAMMPS这款开 源的仿真软件，数据通过OSS上传。 解决问题 1.使用EHPC运行工业仿真软件 2.使用OSS存储数据和代码 3.可视化计算结果 产品列表 弹性高性能计算E-HPC 对象存储OSS
您可以通过调用 API，在任何应用、任何时间、任何地点上传和下载数据，也可以通过 Web 控制台对数据进行简单的管理。OSS 适合 存放任意类型的文件，适合各种网站、开发企业及开发者使用。按实际容量付费真正使您 专注于核心业务。III EHPC工业仿真最佳实践 前置条件 目录 文档版本信息.I 法律声明.II 前言.III 目录.1 前置...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
如何在 main 函数中读取本地文件?ￚ 通过“资源上传”，上传本地文件。ￚ 使用如下代码段，在代码中读取对应的本地文件。注：代码中"/flink/usrlib/"是平台存放用户通过“资源上传”功能上传文件的目录，不 能修改。File f=new File("/flink/usrlib/",fileName);3.5.其他操作指引 3.5.1.Flink SQL 性能优化操作指引 请参考:...
云数据库RDS PostgreSQL
云数据库RDS PostgreSQL 版完全兼容开源PostgreSQL，基于云原生架构，软硬协同优化，提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展，支撑各领域场景化业务，如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件。
查看详情 2020-05-14 新功能/规格 RDS PostgreSQL V11发布xml2功能,支持XPath查询、XSLT函数接口 查看详情 2020-06-12 新功能/规格 RDS PostgreSQL云盘版发布只读实例功能,最高支持32个只读实例.查看详情 2020-06-12 新功能/规格 RDS PostgreSQL云盘版增加104核规格 查看详情 2020-06-12 新功能/规格 RDS PostgreSQL 11发布...
来自：
云产品
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
文档版本：20201020 43 基于 Dataworks的大数据一站式开发及数据治理 数据治理 步骤4 添加规格，比如本例监控错误数的波动情况，如果波动上升进行报警，即错误率飙升 的时候给我们报警，进一步查询错误原因。步骤5 可以先试跑测试数据规则。步骤6 关联调度，每次调度后都会检测数据规则。步骤7 添加 hive_log节点进行关联，...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
其数据持久性不低于99.9999999999%（12个 9），服务可用性（或业务连续性）不低于99.995%，OSS具有与平台无关的RESTful API接口，可以在任何应用、任何时间、任何地点存储和访问任意类型的数据，非常 适合作为集中统一的存储平台。阿里云E-MapReduce（ElasticMapReduce，简称EMR），是运行在阿里云平台上 的一种大数据处理...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
使用RESTfulAPI可以在互联网任何位置存储和访问，容量 和处理能力弹性扩展，多种存储类型供选择全面优化存储成本。详见：https://www.aliyun.com/product/oss SLS：日志服务（SLS）是云原生观测分析平台，为Log/Metric/Trace等数据提供 大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可 视化与...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
实时计算 Flink独享模式可开放 UDF/UDAF/UDTF接口，为用户提供更强大的数 据处理能力。文档版本：20220223（发布日期）1 基于 Flink的资讯场景实时数仓 前置条件 前置条件 在进行本文操作前，您需要完成以下准备工作：注册阿里云账号，并完成实名认证。您可以登录阿里云控制台，并前往实名认证页 面（account.console....
组建多可用区多地域的混合云
场景描述 无特定行业属性，对云下有IDC的用户，上云建 立多地域多可用区高稳定性的业务架构，组建混 合云用户都可适用。物理专线是打通IDC到云上 内网通道的最高质量和稳定性最好方式，但成本 较高，交付周期长。 解决问题 云下用户IDC应对业务突增弹性扩容能力 不足; 云下用户IDC业务需要多地域冗余; 云上阿里云业务需要多地域冗余; 云上阿里云业务需要多可用区冗余. 产品列表 VPC，CEN，高速通道（专线），SLB，ECS
开通云服务器 ECS、日志服务、函数计算等服务。说明：本文操作演示中不包含相关服务的开通操作，请您自行完成。文档版本：20210805 1 组建多可用区多地域的混合云最佳实践 创建北京区域 ECS 1.创建多地域 VPC,VSW,SLB和 CEN 1.1.使用云速搭 CADT快速创建资源 登录云速搭 CADT控制台。...
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
网络插件 Flannel 公网访问 勾选使用 EIP暴露 API Server，开启公网访问。配置完成，单击下一步：Worker配置。文档版本：20220121 25 基于 K8S多集群隔离环境下的 DevOps实现 创建生产环境下的 K8S集群 步骤4 配置 Worker节点。说明：为便于演示，本实践只创建两个 worker节点，在实际生产环境中，要根据实际 资源使用量，...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
使用 RAM，您可以创建、管理 RAM用户（例 如员工、系统或应用程序），并可以控制这些 RAM用户对资源的操作权限。当您 的企业存在多用户协同操作资源时，使用 RAM可以让您避免与其他用户共享云账 号密钥，按需为用户分配最小权限，从而降低企业信息安全风险。官网链接：https://help.aliyun.com/product/28625.html EIP：...
Serverless图片分类和身份证过滤
场景描述 场景一：大型图库智能管理通过深度学习算法，自动识别图像中的常见的场景，客户可以基于函数计算对接智能媒体管理的图像识别功能，轻松实现图片的自动管理和分组，完成大型图像库的智能管理。 场景二：身份证图片过滤 通过扫描存储在OSSbucket中的图片，通 过智能媒体管理进行身份证识别，找到海量图片中的身份证图片，对敏感信息进行处理。 解决问题 1.通过无服务器计算实现图片处理自动化 2.OSS触发器的使用 3.使用函数计算调用阿里云的AIP或SDK 产品列表 函数计算 智能媒体管理IMM 对象存储OSS
图片自动分类 说明：本节介绍使用函数计算对图片进行自动分类，当图片上传到 OSS后会通过函 数计算的 OSS触发器触发函数计算，函数计算调用 IMM的图形识别 API对图片进行 分类，分类后的结果再写入到 OSS。2.1.创建函数计算服务及函数 步骤1 登录函数计算控制台（如果不是最新版请先将控制台切换到最新版本）。...
事件总线 EventBridge
事件总线 EventBridge是阿里云提供的一款无服务器事件总线服务，支持阿里云服务、自定义应用、SaaS应用以标准化、中心化的方式接入，并能够以标准化的 CloudEvents 1.0 协议在这些应用之间路由事件，帮助您轻松构建松耦合、分布式的事件驱动架构。
支持接入多种应用程序，包括阿里云服务、自定义应用、合作伙伴SaaS应用（即将支持）.高并发&高可用.服务可用性 99.95%，Region 化、多可用区、分布式集群化部署，部分节点异常甚至可用区异常，仍会确保服务的可用性，具备极强的容灾能力；数据可靠性 99.99999999%，多副本数据冗余与快速切换技术确保数据可靠；安全性&可...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您