本文介绍JindoFS的namespace的存储模式（Block或Cache）支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式，JindoFS支持的系统权限如下：当您namespace的存储模式是Block模式时，支持Unix和...
您可以使用EMR Trino默认提供的5个占位连接器，增加自定义连接器，分别为connector1、connector2、connector3、connector4和connector5，即EMR控制台的Presto服务的 配置 页面的 connector1.properties、connector2.properties、connector3...
本文介绍JindoFS的Block模式支持的文件系统权限功能，包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限，在JindoFS上开启Ranger插件后，就可以在Ranger上对JindoFS权限（和其它组件权限）进行一站式管理。...
本文介绍JindoFS的Block模式支持的文件系统权限功能，包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限，在JindoFS上开启Ranger插件后，就可以在Ranger上对JindoFS权限（和其它组件权限）进行一站式管理。...
EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过其灵活地创建和管理实例以及数据。本文为您介绍StarRocks的核心特性，并详述EMR Serverless StarRocks在此基础之上所引入的诸多...
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的 enableLDAP。...
本文介绍JindoFS的Block模式支持的文件系统权限功能，包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限，在JindoFS上开启Ranger插件后，就可以在Ranger上对JindoFS权限（和其它组件权限）进行一站式管理。...
本文介绍JindoFS的Block模式支持的文件系统权限功能，包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限，在JindoFS上开启Ranger插件后，就可以在Ranger上对JindoFS权限（和其它组件权限）进行一站式管理。...
EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行...
esr-2.6.0(Spark 3.3.1,Scala 2.12)esr-3.4.0(Spark 3.4.4,Scala 2.12)esr-4.2.0(Spark 3.5.2,Scala 2.12)Fusion加速 自定义UDF性能优化。Sort、First/Last、DenseRank等操作性能提升。CSV Reader支持分区表。from_utc_timestamp 函数支持...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 AddClusterService 系统规定参数。取值：AddClusterService。ClusterId String 是 C-F32FB31D8295*待添加服务的集群ID。RegionId String 是 cn-hangzhou 集群对应的地域ID。...
前提条件 已在E-MapReduce上创建EMR-3.42.0及后续版本、EMR-5.6.0及后续版本的集群，具体操作请参见 创建集群。如果数据源为OSS、OSS-HDFS、Apache HDFS，请先完成如下配置：阿里云OSS/OSS-HDFS服务透明缓存加速 Apache HDFS透明缓存加速 ...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteFlowJob 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：DeleteFlowJob。Id String 是 FJ-BBCAE48B90CC*作业ID。您可以调用 ...
调度系统：提供Apache Airflow Operators，以及兼容Apache Airflow livy_operator。提供DolphinScheduler Operators。元数据管理：支持外部Hive Metastore作为元数据服务。接口调用：提供Spark Thrift Server服务以支持JDBC接口调用。提供...
在使用EMR StarRocks时，您可以根据业务负载和性能需求的动态变化，灵活地增加或减少集群中Backend（BE）节点的数量，以实现资源的最优配置和系统的高效运行。本文为您介绍如何扩容和缩容StarRocks集群的BE节点。前提条件 已创建集群，详情...
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
本文介绍如何配置Spark Streaming类型的作业。...您可以单击下方的+插入OSS路径，选择 文件前缀 为 OSSREF，从 文件路径 中进行浏览和选择，系统会自动补齐OSS上Spark Streaming脚本的路径。单击 保存，作业内容编辑完成。
在阿里云E-MapReduce（EMR）中，Hive支持通过配置外部表来访问和处理存储在Phoenix系统中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteFlow 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：DeleteFlow。Id String 是 F-7A39731FE719*工作流ID。您可以调用 ...
Apache Celeborn是阿里云开源的中间数据服务，旨在提升大数据计算引擎的性能、稳定性和灵活性。Celeborn设计独立于具体引擎，支持Spark、Flink、MapReduce(MR)和 Tez，并且是目前最流行的Remote Shuffle Service的实现。Celeborn架构 ...
Fusion引擎是EMR Serverless Spark内置的高性能向量化SQL执行引擎，相比开源Spark在TPC-DS基准测试上有3倍性能提升。Fusion引擎与开源Spark完全兼容，您无需对现有代码做任何修改。在EMR Serverless Spark中，只需在创建会话时开启 使用...
请求参数 名称 类型 是否必选 示例值 描述 Action String 否 UntagResources 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：UntagResources。RegionId String 是 cn-hangzhou 地域ID。您可以调用 ...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteFlowProjectUser 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：DeleteFlowProjectUser。ProjectId String 是 FP-257A173659F5*...
000 750 350 180 单盘IOPS性能计算公式 min{1800+50*容量,1000000} min{1800+50*容量,100000} min{1800+50*容量,50000} min{1800+12*容量,10000} 单盘吞吐量性能计算公式（MB/s）min{120+0.5*容量,4000} min{120+0.5*容量,750} min{120+0.5...
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
org/slf4j/impl/StaticLoggerBinder.class]SLF4J:Found binding in[jar:file:/opt/apps/ecm/service/hadoop/2.8.5-1.5.3/package/hadoop-2.8.5-1.5.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!org/slf4j/impl/StaticLoggerBinder...
阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势，以及在E-Mapreduce上倚天云服务器的...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteResourcePool 系统规定参数。取值：DeleteResourcePool。ClusterId String 是 C-EBD62A703A43*集群ID。您可以调用 ListClusters 查看集群的ID。RegionId String 是 ...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ResumeFlow 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：ResumeFlow。FlowInstanceId String 是 FI-9DDAAA3ADA5F*工作流实例ID。您...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 SuspendFlow 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：SuspendFlow。FlowInstanceId String 是 FI-9DDAAA3ADA5F*工作流实例ID。您...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CloneFlow 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：CloneFlow。Id String 是 F-8C1EB0C6452*克隆的目标工作流ID。您可以调用 ...
本文介绍使用JindoFS SDK时，E-MapReduce（简称EMR）集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除...
例如，EMR-5.x-ack版本的Spark集群只能关联EMR-5.x-ack版本的Shuffle Service集群。Flink：是一个在有界或无界数据流上进行有状态计算分布式处理的计算引擎。Flink on Ack基于EMR on Ack底座与社区Flink Kubernetes Operator 1.0.1版本开发...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CreateFlowProjectUser 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：CreateFlowProjectUser。ProjectId String 是 FP-257A173659F5*...
5.3.x 2021-08-21 2024-09-30 2025-09-30 Aliyun Cloud Linux 2.1903 LTS 64位 5.4.x 2021-10-21 2024-10-20 2025-10-20 Aliyun Cloud Linux 2.1903 LTS 64位 5.5.x 2022-02-15 待定 待定 Aliyun Cloud Linux 2.1903 LTS 64位 5.6.x 2022-...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 RerunFlow 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：RerunFlow。FlowInstanceId String 是 FI-9DDAAA3ADA5F*工作流实例ID。您可以...
本文介绍使用JindoFS SDK时，E-MapReduce（简称EMR）集群外如何以免密方式访问E-MapReduce JindoFS的文件系统。前提条件 适用环境：ECS（EMR环境外）+Hadoop+JavaSDK。背景信息 使用JindoFS SDK时，需要把环境中相关Jindo的包从环境中移除...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteFlowProject 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：DeleteFlowProject。ProjectId String 是 FP-257A173659F5*项目ID。您...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteFlowCategory 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：DeleteFlowCategory。Id String 是 FC-075AB9477DAE*目录ID。您可以...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ModifyFlowProject 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：ModifyFlowProject。ProjectId String 是 FP-257A173659F5*项目ID。您...