兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
取值范围：true：是 false：否 返回数据 名称 类型 示例值 描述 RequestId String C46FF5A8-C5F0-4024-8262-B16B639225A0 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=UntagResources&RegionId=...
ResourceId.N RepeatList 是 C-3652B95F6596*资源ID，N的取值范围为1~50。ResourceType String 是 cluster 资源类型。EMR集群为cluster。Tag.N.Key String 否 DevDept 资源的标签键。N的取值范围：1~20。一旦传入该值，则不允许为空字符串...
Id String 是 FJ-244582F1934C*克隆的目标作业ID。您可以调用 ListFlowJob 查看。ProjectId String 是 FP-C62EEC30F773*克隆的目标作业所属项目。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以...
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
c-b933c5aac8fe*Tags array 是 绑定的标签列表。Tag Tag 是 标签。返回参数 名称 类型 描述 示例值 object 返回数据。RequestId string 请求 ID。A964BDB2-0FDA-1037-AF3F-2633D5C3F20F 示例 正常返回示例 JSON 格式 {"RequestId":"A964BDB...
c-b25e21e24388*返回参数 名称 类型 描述 示例值 object HttpStatusCode integer HTTP 请求状态码。200 RequestId string 请求 ID。32A44F0D-BFF6-5664-999A-218BBDE7*Success boolean 请求是否成功。false ErrCode string 错误码。...
EMR Serverless StarRocks兼容开源StarRocks的SQL语法和函数，您可以参考以下文档进行开发设计。StarRocks版本 参考文档 3.3系列 SQL参考 函数参考 3.2系列 SQL参考 函数参考 2.5系列 SQL参考 函数参考
高性能计算引擎：内置 Fusion Engine，性能可达开源 Spark 的 4 倍；支持 Remote Shuffle Service Celeborn，提供 PB 级 Shuffle 能力并降低计算成本。高扩展性与弹性：基于阿里云 Serverless 底座，提供秒级资源弹性伸缩，按实际计算资源...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
本文为您介绍如何查看您集群下的作业信息。前提条件 已在E-MapReduce控制台创建on ACK的集群，详情请参见 快速入门。操作步骤 进入作业详情页面。登录 EMR on ACK控制台。在EMR on ACK页面，单击待查看集群的 名称。单击上方的 作业详情 页...
由于ACK控制台上 访问链接与端口 不可用，您可通过以下配置访问开源组件的Web UI。登录 容器服务管理控制台。在 集群列表 页面，单击EMR on ACK所关联集群的 集群名称。鼠标悬浮在左边菜单栏 网络，单击 服务，在服务页面更新YAML文件。...
返回数据 名称 类型 示例值 描述 RequestId String EBB4D49C-4064-4818-B3AE-4C6BE5FC8264 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=AddClusterService&ClusterId=C-F32FB31D82954C64&RegionId=...
取值如下：cluster：集群 flowproject：项目 返回数据 名称 类型 示例值 描述 RequestId String 473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E 请求ID。成功返回请求ID，失败返回相应错误码。示例 请求示例 http(s):/[Endpoint]/?Action=...
本文介绍EMR Serverless StarRocks产品中涉及的一些基本名词概念，使您能够更好地理解EMR Serverless StarRocks。地域（Region）购买EMR Serverless StarRocks的服务器所处地理位置。您需要在购买EMR Serverless StarRocks实例时指定Region...
Id String 是 F-8C1EB0C6452*克隆的目标工作流ID。您可以调用 ListFlowInstance 查看工作流ID。ProjectId String 是 FP-53C4D36FC731*待克隆工作流所属的项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 ...
EMR-3.52.0及其后续版本，以及EMR-5.18.0及其后续版本，均在镜像内预装了阿里云CLI和ossutil 2.0，安装路径位于/usr/local/bin/目录下。工具简介如下所示。工具 简介 命令行工具ossutil 2.0（预览版）ossutil是OSS的新版命令行管理工具，...
名称 类型 描述 示例值 object 资源规格。cu integer CU 数量。CU(Compute Unit)是服务的基本计量单元，1 CU=1 核 CPU+4GiB 内存。3 storageSize integer 存储大小。100 nodeNumber integer 节点数。3 storagePerformanceLevel string 云盘...
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行...
与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL和Optimize的支持等。下表列出了Delta Lake的基本特性，并对比EMR-Delta Lake与开源Delta Lake（0.6.1）。特性 EMR-Delta 开源Delta SQL ALTER CONVERT CREATE ...
JindoCache（原JindoFSx）是阿里云EMR提供的用于加速云原生数据湖的一个服务。他提供了数据缓存和元数据缓存等加速功能，并根据不同的CacheSet提供不同的读写策略，以满足数据湖在不同使用场景下对访问加速的需求。背景信息 CacheSet是...
SUB_PROCESS是子流程节点，就是把外部的某个工作流定义当做一个节点去执行。本文为您介绍创建SUB_PROCESS类型任务时涉及的参数。参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常（默认）：运行工作流时...
通过Kyuubi Gateway，以兼容开源Kyuubi的方式提交SQL任务。数据目录 支持使用RAM用户（子账号）身份访问DLF。支持访问DLF 2.0 Hive Catalog。资源观测 支持观测工作空间、队列的资源消耗情况。运行环境 Spark Submit工具支持通过配置参数-...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...
EMR on ECS发布基于大模型构建的新版监控诊断功能 适用客户 全网用户 新增功能/规格 EMR on ECS新版监控诊断是基于大模型构建的智能运维辅助功能，结合了阿里云EMR团队在开源大数据领域的知识经验、阿里云EMR可观测能力和技术专家的诊断...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...
Fusion引擎是EMR Serverless Spark内置的高性能向量化SQL执行引擎，相比开源Spark在TPC-DS基准测试上有3倍性能提升。Fusion引擎与开源Spark完全兼容，您无需对现有代码做任何修改。在EMR Serverless Spark中，只需在创建会话时开启 使用...
DEPENDENT节点是指用于进行依赖检查的节点。例如，如果A流程依赖于昨天成功执行的B流程，则依赖节点将会检查昨天B流程是否成功执行过实例。本文为您介绍创建DEPENDENT类型任务时涉及的参数。参数 说明 节点名称 任务的名称。...
SWITCH一个条件判断节点，依据全局变量的值和用户所编写的表达式判断结果执行对应分支。本文为您介绍创建SWITCH类型任务时涉及的参数。参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常（默认）：运行...
本文介绍在E-MapReduce作业配置中使用的OSS URI。OSS URI 使用E-MapReduce时，通常会使用两种OSS URI：native URI：oss:/bucket[.endpoint]/object/path。您在作业中指定输入输出数据源时使用此URI，等同于 hdfs:/。您操作OSS数据时，可以...
参数 参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常（默认）：运行工作流时执行该任务。禁止执行：运行工作流不会执行该任务。描述 当前节点的功能描述。任务优先级 流程运行的优先级。...
本文为您汇总了部分漏洞说明。Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Apache Hadoop YARN ZKConfigurationStore反序列化代码执行漏洞（CVE-2021-25642）Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 ...
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的 enableLDAP。...
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
例如 com.mysql.jdbc.Driver”eper.quorum":"a.b.c.d:2181"}。是 dbtable 数据表名称。是 user 连接的用户名。是 password 连接的密码。是 batchsize 每个批次更新的数据条数。仅向数据库写入数据时生效。否 isolationLevel 事务隔离级别，...
CONDITIONS节点是一个条件节点，其根据上游任务的运行状态来判断应该运行哪个下游任务。CONDITIONS节点可以支持多个上游任务，但只能支持两个下游任务。如果上游任务数超过一个，则可以通过“且”、“或”操作符来实现复杂上游依赖。...
该类型任务通过SSH方式将作业提交到SSH数据源所在主机，请务必谨慎操作。本文为您介绍创建REMOTESHELL类型任务时涉及的参数。重要 REMOTESHELL任务直接提交到SSH数据源所在的主机上运行，由于不涉及使用YARN等资源调度管理机制，无法实现对...
本文为您介绍创建SQOOP类型任务时涉及的参数。参数说明 参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常（默认）：运行工作流时执行该任务。禁止执行：运行工作流不会执行该任务。...