与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
OSS-HDFS的更多信息，请参见 OSS-HDFS服务。云盘加密 云盘加密是指通过加密算法保护存储在云盘中的数据，以防止未经授权的访问和泄露。在数据写入云盘时进行加密，确保在未授权情况下无法访问或解密数据，即使云盘数据泄露也无法解密。同时...
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
不要在RAM访问控制台上删除或修改EMR服务角色的系统策略。AliyunEMRDefaultRole 该角色允许E-MapReduce服务在配置资源和执行服务级别操作时调用其他阿里云服务。所有集群都需要该角色，且不能更改。该角色详情请参见 EMR服务角色。该角色...
在创建集群模板的 硬件配置 中，您可以为实例设置多机型实例，可以避免单一机型库存不足造成集群创建失败最终影响作业执行。完成上述参数配置后，选中 E-MapReduce服务条款 后，单击 保存模板。模板创建成功后，就可以在模板列表中查看到。
在释放ECS实例时，系统将同时退还您EMR未使用部分的款项。说明 释放ECS实例时，相当于对EMR集群进行降配。每释放一个ECS实例，将生成一笔降配退款订单。当ECS实例数量降至零时，即表示对EMR集群的降配已达到0。降配时，将退还对应的EMR服务...
客户安全责任 客户负责正确配置和使用阿里云提供的安全能力和产品服务，以构建其云上应用和业务系统的安全。包括以下内容：基于阿里云公告及提供的补丁，及时对EMR大数据服务组件进行漏洞修复。负责数据的备份、加密，并对EMR产品中使用的...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...
说明 当选择了Kafka服务，系统将默认安装Kafka Manager软件服务，并开启Kafka Manager的认证功能。注意事项 使用Kafka Manager进行partition reassign功能时，当前版本的Kafka Manager是没有提供限流功能的。如果需要限流，您可以通过 ...
EMR Serverless StarRocks兼容开源StarRocks的SQL语法和函数，您可以参考以下文档进行开发设计。StarRocks版本 参考文档 3.3系列 SQL参考 函数参考 3.2系列 SQL参考 函数参考 2.5系列 SQL参考 函数参考
高性能计算引擎：内置 Fusion Engine，性能可达开源 Spark 的 4 倍；支持 Remote Shuffle Service Celeborn，提供 PB 级 Shuffle 能力并降低计算成本。高扩展性与弹性：基于阿里云 Serverless 底座，提供秒级资源弹性伸缩，按实际计算资源...
spark.celeborn.shuffle.writer Celeborn的wirter支持的模式：hash（默认值）：在Partition并发度过大的情况下会使用较多的内存。sort：使用固定大小内存，在Partition并发度很大的情况下，能够稳定工作。spark.celeborn.master.endpoints ...
在账单详情页签中，设置 账单月份，并在列表中筛选产品为 开源大数据平台 E-MapReduce，然后基于您的实际需求选择产品明细。您还可以通过 统计项 和 统计周期 选择账单的展示内容。账单详细内容，可参见费用与成本的 账单管理。相关文档 ...
60 PerformanceLevel string 创建 ESSD 云盘作为系统盘使用时，设置云盘的性能等级。取值范围：PL0：单盘最高随机读写 IOPS 1 万。PL1（默认）：单盘最高随机读写 IOPS 5 万。PL2：单盘最高随机读写 IOPS 10 万。PL3：单盘最高随机读写 ...
EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...
最多支持 128 个字符，不能以 aliyun 和 acs:开头，不能包含 http:// 或 https:// 。department Value string 标签值。非必填，可以为空字符串。最多支持 128 个字符，不能以 acs:开头，不能包含 http:// 或者 https:// 。IT
任务实例（JobRun）在任务编排系统中，Workflow的运行通常会对应一个JobRunID，表示一个任务实例。工作流（Workflow）工作流是指由一系列相关任务组成的有序流程，每个任务之间有明确的依赖关系和执行顺序。用户（Account）用户是访问控制...
本文为您介绍开源组件常用端口。服务 端口 描述 Hadoop 2.X 50070 HDFS Web UI的端口。配置参数为 dfs.namenode.http-address 或 dfs.http.address 。说明 dfs.http.address 已过期但仍能使用。50075 DataNode Web UI的端口。50010 ...
在每行配置中，一个IP地址最多可对应3个hostname。修改域名 在 实例详情 页面的 基础信息 区域，单击 自定义域名 后的 自定义。在 自定义域名 对话框中，修改已有hosts信息（例如，更新IP地址或hostname），然后单击 确定。删除域名 在 ...
加密系统盘后，系统盘上的操作系统、程序文件及其他系统相关数据将会被加密。如果您的业务存在安全合规要求，则可以使用该功能。您无需自建和维护密钥管理基础设施，就能保护数据的隐私性和自主性，为业务数据提供安全边界。背景信息 系统...
此外，系统还支持自定义集群，您可以根据具体的业务选择相应的业务场景。选择业务场景 地域和存储 阿里云EMR提供多种地域选项，以确保您的集群地域与数据存储位置保持一致。在存储架构方面，阿里云EMR支持存算分离与存算一体两种方案供您...
您也可以选中多个RAM用户，单击用户列表下方的 添加权限，为RAM用户批量授权。在 新增授权 面板，为RAM用户添加相应的权限。参数 描述 授权范围 选择所需的应用范围：账号级别：权限在当前阿里云账号内生效。资源组级别：权限在指定的资源...
数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...
灵活扩缩容：支持根据业务需求快速增加或减少特定计算组内的节点数量，无需重新分配数据，既满足了业务增长的需要，又减少了对现有业务的干扰，提升了系统的可扩展性和灵活性。高效的弹性伸缩：计算组内可以配置弹性伸缩规则，按需自动的...
欠费影响 多个集群之间并不会互相影响，例如，您有一个包年包月集群和一个按量付费集群，当按量付费集群欠费时，包年包月集群并不会受到影响，仍然会正常工作。计费方式 欠费策略 包年包月 包年包月集群在账号欠费期间仍可继续使用已购资源...
在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息 集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端...
本章节介绍如何通过多种方式读写不同的数据存储系统，支持结构化、半结构化和非结构化数据的高效存储与访问。涵盖主流大数据存储引擎的集成，满足多样化的业务需求。读写Doris 读写StarRocks 读写MaxCompute 读写HBase 读写MongoDB 读写...
本文为您介绍如何连接Zookeeper。前提条件 已创建集群，并且选择了ZooKeeper服务，详情请参见 创建集群。连接Zookeeper 使用SSH登录集群，详情请参见 登录集群...相关文档 关于ZooKeeper的更多介绍，请参见 ZooKeeper Getting Started Guide。
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
您也可以选中多个RAM用户，单击用户列表下方的 添加权限，为RAM用户批量授权。在 新增授权 面板，为RAM用户添加 AliyunEMRWorkflowAdmin 权限。参数 说明 授权范围 选择所需的应用范围：整个云账号：权限在当前阿里云账号内生效。指定资源...
您无需提前购买大量资源，系统会根据您工作空间实际的资源使用量进行结算。费用按照每小时整点进行一次计算（以UTC+8时间为准），计算完成后将进入新的计费周期。适用于业务用量经常变化的场景。包年包月 包年包月是一种先付费后使用的计费...
SmartData的2.6.0-2.7.2版本，包含多个重大特性的发布以及大幅的性能优化。例如，Namespace服务后端存储支持Tablestore（OTS）以及Raft、Namespace服务支持HA、读写性能优化、块存储模式和缓存模式使用方式优化等。元数据服务后端存储方案...
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）EMR-5.17.0&3.51.0及之后版本 开源Flink的上下游存储，详情请...
名称 类型 描述 示例值 object 指标触发。...ConditionLogicOperator string 多指标逻辑关系。取值范围：And：与。Or（默认值）：或。Or Conditions array 指标触发条件列表。TriggerCondition TriggerCondition 触发阈值。必填参数。
如果您在自动续费扣款前进行了手动续费，则系统将在下一次到期前进行自动续费。开通自动续费后，自动续费将于次日生效。如果您的实例于次日到期，为避免业务中断，请手动续费。自动续费 创建实例时开通自动续费 您可以在创建包年包月付费...
说明 系统连接器无需配置，所有信息都可以通过名为 system 的目录获取。修改内置连接器 您可以在EMR控制台的Presto服务的 配置 页面，修改各个连接器对应的配置文件，然后重启Presto服务。连接器与配置文件对应关系如下表。连接器名称 配置...
为了提升阿里云EMR集群的可靠性和可用性，您可以采用两种策略：一是在集群扩容时开启尽力交付，这样即使部分节点创建失败，系统也会将所有成功创建的节点加入集群，从而最大限度地保障服务运行；二是对集群中现有的或新增的节点组开启自动...
登录Ranger UI，详情请参见 通过控制台访问开源组件Web界面。选择 Settings Users/Groups/Roles。在 Users 页签中，您可以查看是否有新创建的Unix用户。例如，在步骤1中创建了test用户。场景二：集群已部署OpenLDAP 如果集群中已部署...
背景信息 Livy还支持如下功能：长时间运行的Spark Context，可以被多个Spark作业和客户端使用。在多个Spark作业和客户端之间共享缓存RDD。同时管理多个Spark Context。可以通过预编译的JAR包、代码片段、Java API和Scala API等多种方式提交...