Serverless 工作流开发

_相关内容

分布式多步骤事务

本文介绍了如何使用 Serverless 工作流 提供长流程分布式事务保证,帮助用户聚焦于自身业务逻辑。简介 复杂的业务场景例如电商网站、酒店、航班预定这类涉及订单管理的应用通常要访问多个远程服务,并且对操作事务性语义(即所有步骤全部...

低成本跨境文件传输

本文介绍如何通过 Serverless 工作流、函数计算、对象存储、专用网络、云服务器及弹性公网IP的组合方案,实现低成本跨境文件的传输。应用场景 跨境对象存储数据传输。对数据的跨境传输成本有严格的控制。对文件同步延时不敏感,能接受一定...

2023年功能发布记录

本文介绍 Serverless 工作流 2023年度发布的功能变更以及对应的文档动态。2023年10月 功能名称 变更类型 功能描述 相关文档 功能升级与名称变更 优化 产品功能升级,提供更通用的工作流编排逻辑能力、提供更丰富的生态集成方案以及Spec ...

什么是云原生应用开发平台

开发层:由 函数计算、云工作流Serverless Devs工具提供流程式编程、组装式开发能力。模型层:由 云原生应用开发平台 CAP 提供内置的模型体验、模型管理服务。支持组装式开发 云原生应用开发平台 CAP 基于丰富的云服务集成,原子化能力...

修改 Serverless 算力配置

在实例列表中找到目标 Serverless 实例,单击实例名称,进入 Serverless 工作台。在 Serverless 工作台页面,单击右上角的更多图标,在下拉菜单中选择 修改算力。设置 Serverless 实例的最小算力和最大算力。说明 Serverless 实例采用 OCU...

Serverless Spark支持变量管理

Serverless Spark SQL开发和批任务支持自定义变量管理,可简化代码的维护和调整。适用客户 全网用户 新增功能/规格 ...通过变量的复用,可以在SQL开发、批任务开发工作流等场景中简化代码的维护和调整,进而提高开发效率。产品文档 变量管理

创建 Serverless 实例

在实例列表中找到目标 Serverless 实例,单击实例名称,进入 Serverless 工作台。在左侧导航栏单击 数据库管理。单击右上角的 新建数据库。根据实际需要设置如下参数:单击 创建。创建数据库账号 登录 OceanBase 管理控制台。在左侧导航栏...

管理 Serverless 实例

Serverless 工作台页面,可以查看 Serverless 实例的基础信息、性能监控信息、代理和可用区等信息。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏中,单击 实例列表。在实例列表中,单击目标 Serverless 实例名称即可进入 ...

设置 Serverless 实例备份策略

在实例列表中找到目标 Serverless 实例,单击 Serverless 实例名称,进入 Serverless 工作台。在左侧导航栏中单击 备份恢复,在备份恢复页面单击 备份策略 页签,您可以查看实例的备份策略信息。说明 Serverless 实例会默认开启备份,您...

图像生成应用简介

项目开发阶段:通过调试提示词与工作流,安装模型与插件,生成实现预期效果的图片或视频。API调用阶段:项目开发阶段通过安装模型、插件和依赖,搭建好出图环境。API调用阶段基于出图环境运行工作流,通过Serverless API弹性高效出图。优势...

管理用户和角色

工作流创建(包括拓扑、节点与任务的关联、发布)-✓ ✓ 工作流删除-✓ ✓ 工作流节点创建-✓ ✓ 工作流实例配置编辑-✓ ✓ 工作流调度开启-✓ ✓ 工作流调度关闭-✓ ✓ 工作流触发-✓ ✓ 节点操作(重跑、置成功、终止运行)-✓ ✓ 队列...

计费概述

本文介绍 云工作流 的计费说明和计费方式等信息。计费说明 使用 云工作流 服务,您只需要按使用量付费,即按照工作流执行中实际步骤转换次数付费,例如:1个并行(parallel)步骤有3个分支,每个分支包含1个任务步骤,则总的步骤转换次数为...

PySpark开发快速入门

相关文档 任务发布完成后,您可以在工作流调度中使用,详情请参见 管理工作流。任务编排完整的开发流程示例,请参见 SparkSQL开发快速入门。PySpark流任务的开发流程示例,请参见 通过Serverless Spark提交PySpark流任务。

创建 OceanBase Serverless 实例用户及授权

Serverless 工作台 页面,单击左侧导航栏的 账号管理。在 账号管理 页面,单击右上方的 新建账号。在 新建账号 对话框,配置各项参数。参数 描述 用户名称 由字母、数字和下划线(_)组成,以字母开头,以字母或数字结尾,长度不能超过 ...

概述

Knative是基于Kubernetes之上提供的一款开源Serverless应用框架,帮助您部署和管理现代化的Serverless工作负载,打造企业级Serverless平台。ACK Serverless集成了Knative,您只需要拥有一个 ACK Serverless集群 并开通Knative功能,就可以...

管理工作流实例和节点实例

工作流创建后,您可以对已有的工作流实例和节点进行操作。本文为您介绍如何查看工作流实例、节点日志等。前提条件 已创建并运行工作流,详情请参见 管理工作流。查看工作流实例 进入任务编排页面。登录 E-MapReduce控制台。在左侧导航栏,...

基于Flink、EMR Serverless Spark与Paimon构建批...

此外,通过发布开发好的任务并创建工作流,可以编排各项任务并完成工作流的发布。您可以配置调度策略,实现任务的定期调度,从而保证数据处理和分析的自动化与高效性。交互式查询 创建SQL开发。在 EMR Serverless Spark 页面,单击左侧导航...

常见问题

云函数固定出网IP加白需提供什么?Emas Serverless 是否可以对接阿里云的Redis,开启HTTP触发之后能否对接API Gateway相关服务?...用户使用EMAS Serverless产品的开发者版本时,续费失败 EMAS Serverless开发微信小程序能否直接调用微信云函数

构建基于CloudFlow的弹性高可用音视频处理系统

在音视频系统中,音视频转码是比较消耗计算力的一个子系统,您可以通过 函数计算 和 云工作流 构建弹性高可用的Serverless音视频处理系统。本文会从工程效率、运维、性能和成本方面介绍Serverless音视频处理系统和传统方案的差异。同时介绍...

Python节点

进行Python节点开发前,需创建对应的Python节点,详情请参见:创建调度工作流的节点。注意事项 运行该任务时,若使用Serverless资源组,单任务支持最大配置 64CU,但建议不超过 16CU,以避免CU过大导致资源不足,影响任务启动。Python节点...

EMR Serverless Spark免费公测说明

介绍EMR Serverless Spark的免费公测说明。免费公测时间说明 EMR Serverless Spark免费公测已于2024年04月25日开启,预计于2024年09月13日结束。公测阶段面向所有用户开放,您可以...什么是EMR Serverless Spark 创建工作空间 SQL开发快速入门

基本概念

工作流(Workflow)工作流是指由一系列相关任务组成的有序流程,每个任务之间有明确的依赖关系和执行顺序。用户(Account)用户是访问控制功能中的概念,支持将RAM用户添加为成员,并授予相应的权限,才能操作工作空间中的任务、资源等。...

Serverless Spark支持工作流补数

Serverless Spark 支持补数功能。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持补数功能。工作流以及工作流节点使用的时间变量会根据补数选择的业务时间自动替换为对应的值。产品文档 变量管理

什么是应用中心

应用纳管了代码仓库、函数、基础设施资源,目前内置了丰富的应用模板及DevOps能力,实现用户从入门Serverless到上线生产的完整工作流。环境 描述测试、预发、生产类别的具体环境。环境的作用如下所示。物理隔离。例如地域、VPC和NAS隔离等...

API概览

本产品(emr-serverless-spark/2023-08-...GenerateTaskCodes 生成工作流节点定义编码 上线工作流及其调度 其他 API 标题 API概述 ListCatalogs 查询数据目录列表 查看数据目录列表 ListTemplate 获取工作空间配置模板列表 获取任务模板列表。

Spark Submit开发快速入门

EMR Serverless Spark兼容spark-submit命令行参数,简化了任务执行流程。本文通过一个示例,为您...相关文档 任务发布完成后,您可以在工作流调度中使用,详情请参见 管理工作流。任务编排完整的开发流程示例,请参见 SparkSQL开发快速入门。

2024-08-20版本

平台侧 功能分类 功能更新说明 任务开发 支持开发以下任务类型:SparkSQL Application(批任务):JAR、PySpark、SQL、Spark Submit Application(任务):JAR、PySpark 产品与生态对接 支持DataWorks与Serverless Spark的绑定。...

JAR开发快速入门

您可以自行编写并构建包含业务逻辑的JAR包,上传此业务JAR包后,即可便捷地开发Spark JAR。...相关文档 任务发布完成后,您可以在工作流调度中使用,详情请参见 管理工作流。任务编排完整的开发流程示例,请参见 SparkSQL开发快速入门。

2025-11-12版本

本文为您介绍2025年11月12日发布的EMR Serverless Spark的功能变更。概述 2025年11月12日,我们正式对外发布 Serverless Spark 新版本,包括平台管理、性能优化以及引擎能力。平台侧 功能分类 功能更新说明 相关文档 AI 中心(Beta)新增...

什么是EMR Serverless Spark

平台能力层 该系统主要为上层场景提供支撑,通过工作流编排实现批处理、流计算以及人工智能作业的多场景混合调度。无论是ETL任务、实时分析还是机器学习训练,均可在同一管道中完成编排,从而避免多系统割裂所带来的问题。同时,所有操作均...

Serverless Spark访问DLF

Serverless Spark中绑定DLF Catalog 您可以新建Serverless Spark工作空间并绑定使用DLF Catalog,也可以在已有的Serverless Spark工作空间中绑定使用DLF Catalog。在新建Serverless Spark工作空间时绑定 创建Serverless Spark工作空间,...

MSE Serverless实例简介

注意事项 ZooKeeper Serverless 实例会自动根据连接数进行节点弹性扩缩容,客户端连接可能被连接数已经达到上限的节点拒绝连接,需确保客户端有正确的重连逻辑,多次重试可正常连接到未被限的节点。MSE Serverless实例优势 更低的成本:...

5.x Serverless系列

本文为您介绍Serverless版实例的工作原理、产品优势和使用场景。产品优势 云消息队列 RocketMQ 版 Serverless实例具备灵活的资源伸缩能力,能够满足业务在不同发展阶段的资源需求。其核心优势如下:开箱即用,兼容开源版本。以业务应用为...

绑定EMR Serverless Spark计算资源

若您要使用DataWorks进行EMR Serverless Spark任务的开发、管理,需先将您的EMR Serverless Spark工作空间绑定为DataWorks的Serverless Spark计算资源。绑定完成后,可在DataWorks中使用该计算资源进行数据开发操作。前提条件 已 创建EMR ...

通过Serverless Spark提交PySpark任务

步骤六:新建并启动任务 在EMR Serverless Spark页面,单击左侧的 数据开发。在 开发目录 页签下,单击 图标。输入名称,任务类型选择 任务 PySpark,然后单击 确定。在新建的开发中,配置以下信息,其余参数无需配置,然后单击 保存。...

2025-03-03版本

EMR Serverless Spark免费试用 生态对接 批任务和任务支持对接外部Ranger服务,实现细粒度的权限管理。批任务支持对接外部Kerberos服务,以增强身份认证和安全性。为Spark Thrift Server配置并启用Ranger鉴权 开启Kerberos身份认证 正式...

Serverless Spark访问DLF

如何在Serverless Spark通过Paimon REST访问DLF Catalog。使用限制 仅支持使用esr-4....相关文档 Serverless Spark其他操作请参见:SparkSQL开发快速入门 PySpark开发快速入门 JAR开发快速入门 Spark Submit开发快速入门 Notebook开发快速入门

计算资源管理最佳实践

方案一(稳定性、成本与开发量兼顾):DB级别或用户级别(大屏数据源对应用户)开启 自适应Serverless计算 功能,可以将大屏中的“大任务”自动指向Serverless资源,小任务仍在本计算组中执行。方案二(稳定性与成本兼顾):提取大屏中“大...

绑定EMR Serverless StarRocks计算资源

若您要使用DataWorks进行EMR Serverless StarRocks任务的开发、管理,需先将您的EMR Serverless StarRocks实例绑定为DataWorks的Serverless StarRocks计算资源。绑定完成后,可在DataWorks中使用该计算资源进行数据开发操作。前提条件 已 ...

DataWorks on EMR Serverless StarRocks最佳实践

DataWorks支持StarRocks数据源,通过数据源对接EMR Serverless StarRocks,可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用