Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。Hudi表类型 Hudi支持如下两种表类型：Copy On Write 使用Parquet格式存储数据。Copy On Write表的更新操作需要通过重写...
在使用EMR StarRocks时，您可以根据业务负载和性能需求的动态变化，灵活地增加或减少集群中Backend（BE）节点的数量，以实现资源的最优配置和系统的高效运行。本文为您介绍如何扩容和缩容StarRocks集群的BE节点。前提条件 已创建集群，详情...
灵活扩缩容：支持根据业务需求快速增加或减少特定计算组内的节点数量，无需重新分配数据，既满足了业务增长的需要，又减少了对现有业务的干扰，提升了系统的可扩展性和灵活性。高效的弹性伸缩：计算组内可以配置弹性伸缩规则，按需自动的...
资源估算 CU对应Serverless Spark底层系统的CPU计算能力。一个计算任务的CU使用量取决于该任务实际处理的数据量、计算复杂程度、处理的数据分布情况，以及是否开启 Fusion引擎 加速。开启Fusion引擎加速后，当前不会有额外的资源成本增加，...
背景介绍 TPC-DS是一套决策支持系统的基准测试，它对决策支持系统的几个通用方面进行建模，包括查询和数据维护，用于衡量大数据产品的分析性能。TPC-DS模拟了零售企业三种销售渠道（实体店、互联网、目录）的销售和退货业务，除了建立相关...
false SpotInstanceRemedy boolean 开启后，当收到抢占式实例将被回收的系统消息时，伸缩组将尝试创建新的实例，替换掉将被回收的抢占式实例。取值范围：true：开启补齐抢占式实例。false：不开启补齐抢占式实例。默认值：false。true ...
HBASE-HDFS服务 HDFS作为Hadoop生态系统的核心组件，提供了可靠的分布式文件存储功能。HBASE-HDFS服务通过使用HDFS作为其底层数据存储解决方案，继承了HDFS的所有原生特性和优势，未对其基本架构进行修改。HDFS更多信息介绍，请参见 HDFS...
Tablestore和Raft的方案，实现了元数据服务的高可用，可以通过多个Namespace服务提供HA方案。各方案详情请参见：使用Tablestore作为存储后端 使用Raft-RocksDB-Tablestore作为存储后端 使用RocksDB作为元数据后端 使用模式优化 支持块存储...
JindoCache存储加速系统不仅提供了对多种数据源的缓存加速功能，还能将不同数据源统一管理，并将它们置于同一个命名空间下，从而实现统一访问。前提条件 已完成JindoCache的配置，详情请参见 JindoCache加速OSS透明缓存 或 JindoCache加速...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
listCacheSet 功能说明：列出当前系统里所有的CacheSet信息。命令：jindocache-listCacheSet refreshCacheSet 功能说明：更新CacheSet策略，之前设定的但是在新的策略文件中不存在的CacheSet将被删除。命令：jindocache-refreshCacheSet ...
特性 描述 JindoSDK支持本地缓存（Local）策略 JindoSDK支持本地缓存策略，使得在未部署SmartData服务的情况下，也能支持本地数据缓存，提高OSS数据的访问效率。JindoSDK支持和FileSystem平级的Object Store API JindoSDK在已有FileSystem...
2024-06-19 按量付费转包年包月 支持创建Master-Extend节点组，自定义部署 集群节点提供Master-Extend类型节点组，支持在该节点组上自定义部署Spark、Hive、Kyuubi服务的组件，并能将配置自动同步。解决当前Master节点组负载过高的问题。...
本文描述开源大数据平台E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
ISO22301 ISO22301业务连续性管理体系是国际公认用于衡量企业服务连续性能力是否符合社会责任和客户承诺的唯一标准。阿里云已获得全球最新版ISO/IEC 22301业务连续性国际认证。ISO27001 ISO27001信息安全管理体系国际认证是全球广泛采用的...
ISO22301 ISO22301业务连续性管理体系是国际公认用于衡量企业服务连续性能力是否符合社会责任和客户承诺的唯一标准。阿里云已获得全球最新版ISO/IEC 22301业务连续性国际认证。ISO27001 ISO27001信息安全管理体系国际认证是全球广泛采用的...
ISO22301 ISO22301业务连续性管理体系是国际公认用于衡量企业服务连续性能力是否符合社会责任和客户承诺的唯一标准。阿里云已获得全球最新版ISO/IEC 22301业务连续性国际认证。ISO27001 ISO27001信息安全管理体系国际认证是全球广泛采用的...
ISO22301 ISO22301业务连续性管理体系是国际公认用于衡量企业服务连续性能力是否符合社会责任和客户承诺的唯一标准。阿里云已获得全球最新版ISO/IEC 22301业务连续性国际认证。ISO27001 ISO27001信息安全管理体系国际认证是全球广泛采用的...
背景信息 Hadoop提供了以下两种用于决定用户身份的操作模式：简单模式（Simple）：用户的身份由与HDFS建立链接的客户端操作系统决定。在类Unix系统中，等同于 whoami 命令。Kerberos集群模式：客户端的身份由用户自己的Kerberos证书决定。...
前提条件 已创建数据湖（DataLake）或自定义场景（Custom）类型的集群，且选择了YARN服务。创建集群详情，请参见 创建集群。操作步骤 方式一：查看YARN资源利用率环比 进入弹性伸缩页面。登录 EMR on ECS。在顶部菜单栏处，根据实际情况...
开源大数据平台E-MapReduce（Elastic MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息 集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端...
通过计算组，您可以实现资源的有效隔离、灵活扩缩容以及高效的数据共享，以满足多业务并发和多样化场景需求，确保服务的高稳定性和数据查询的高速度。本文为您介绍如何管理计算组，包括新增计算组、配置计算组、重启计算组等操作，以帮助您...
Livy Gateway是一个基于REST的服务，用于简化与 Apache Spark 的交互。它支持通过HTTP提交任务、查询计算结果，兼容多种编程语言。通过Livy Gateway，您可以结合Airflow的 livy_operator 或Jupyter Notebook的 spark_magic 等工具，轻松向...
在进行按量付费节点组的扩容时，系统将尽最大努力交付所有创建成功的...适用客户 全网用户 新增功能/规格 在进行按量付费节点组的扩容时，如果ECS库存不足或ECS服务部署失败，系统将尽最大努力交付所有创建成功的节点。产品文档 管理尽力交付
计费项 单价（元/小时）vCPU 0.03528 内存 0.0044136 优惠活动 为了确保现有EMR on ACK用户能够平稳过渡，我们将那些在2023年12月31日或之前购买EMR on ACK服务的客户视为老用户。对于这些老用户，我们提供以下优惠政策：在 2024年4月1日 ...
本文为您介绍如何进行RAM授权。...AliyunEmrServerlessSparkReadOnlyAccess：EMR Serverless Spark只读权限，包含了只读访问Spark服务的权限，具体策略详情请参见 AliyunEmrServerlessSparkReadOnlyAccess。单击 确认新增授权。单击 关闭。
对比项 子项目 开源Clickhouse实时数仓 开源Hive离线数仓 阿里云Iceberg数据湖 系统架构 架构 计算存储一体 计算存储分离 计算存储分离 多计算引擎支持 不支持 支持 支持 数据存储在对象存储 不支持 支持不完善 支持 数据存储在HDFS 不支持...
Spark处理JindoFS上的数据，主要有两种方式，一种是直接调用文件系统接口使用；一种是通过SparkSQL读取存在JindoFS的数据表。JindoFS配置 以EMR-3.35版本为例，创建名为 emr-jfs 的命名空间，相关配置参数示例如下：jfs.namespaces=emr-jfs...
重启方式 说明 滚动重启 该方式会依次重启实例中的各个节点，确保在任何时候都有一部分节点保持运行状态，以维持服务的可用性。这种重启方式适用于对服务连续性有较高要求的场景，可以有效减少对用户的影响。快速重启 该重启方式的特点是...
为了更好地融入开源生态，提供更加开放和多样化的计算服务，阿里云E-MapReduce（简称EMR）从EMR-5.17.0和EMR-3.51.0版本开始，将Flink引擎版本从Flink企业版Ververica Runtime（简称VVR）调整为Flink社区开源版本，同时引入RocksDB作为存储...
版本说明 MSE Nacos 版本 开源控制台默认状态 是否支持鉴权 描述 1.x及2.2.3.1之前的2.x版本 开启 不支持 默认开启开源控制台，且不支持鉴权，开源控制台的URL可被任何人访问，建议使用商业化控制台。若确实需要使用，建议 设置白名单 来...
例如，用于系统更新、配置更改或其他需要重启服务以确保新设置生效的情况。警告 重启将会导致业务出现闪断，请您确认客户端已经做好业务重试机制，以免影响业务正常使用！释放：当您不再需要某个实例提供服务时，您可以释放该实例，以免...
JindoManager系统管理 增加了JindoManager服务，集中负责Jindo系统的运维管理以及状态监控等附加功能，提供了Web UI服务，以及查看各项Jindo系统状态。JindoTools工具集 Jindo DistCp工具针对小文件优化了Job Commiter的逻辑，大幅减少OSS...
同时，OSS还支持KMS托管密钥和OSS完全托管密钥等多种数据加密方式，以在客户端和服务端全面保护数据安全。有关详细信息，请参见 数据安全。OSS-HDFS服务（即JindoFS服务）是一个基于OSS的云原生数据湖存储功能。该服务基于统一的元数据管理...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...
说明 若包年包月集群到期未续费，系统将于到期时间点起停止服务。有关续费的具体操作，请参见 续费说明。按量付费 欠费即时提醒。系统会自动对按量付费资源进行扣费。当您的账户余额小于0时，系统会通过短信或邮件通知您。欠费后EMR停止...