前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
cd/opt/apps/KNOX/knox-current/templates sh ldap-sample-users.sh 访问Web UI 访问Web UI的详情，请参见 通过控制台访问开源组件Web界面。常见问题 Q：Knox组件异常停止，启动Knox的时候报错 Failed to start gateway:org.apache.hadoop....
前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 ...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以通过 http://emr-header-1:8101/ 访问JindoFS Web UI功能。JindoFS 3.0.x版本提供总览信息（Overview）...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以通过 http://emr-header-1:8101/ 访问JindoFS Web UI功能。JindoFS 3.0版本提供总览信息（Overview）、...
kb-c7141f10c3f549fc9f8b8ae562b8*请求参数 名称 类型 必填 描述 示例值 当前API无需请求参数 返回参数 名称 类型 描述 示例值 object 返回结果。requestId string 请求 ID。DD6B1B2A-5837-5237-ABE4-FF0C8944*data any 返回结果。true ...
与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL和Optimize的支持等。下表列出了Delta Lake的基本特性，并对比EMR-Delta Lake与开源Delta Lake（0.6.1）。特性 EMR-Delta 开源Delta SQL ALTER CONVERT CREATE ...
在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息 集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端...
由于ACK控制台上 访问链接与端口 不可用，您可通过以下配置访问开源组件的Web UI。登录 容器服务管理控制台。在 集群列表 页面，单击EMR on ACK所关联集群的 集群名称。鼠标悬浮在左边菜单栏 网络，单击 服务，在服务页面更新YAML文件。...
添加依赖 需要判断的依赖任务，可以是某一个项目中的工作流具体的任务执行情况。依赖失败策略 失败（默认）：依赖的上游工作流失败后，当前任务会立即标记为失败。等待：依赖的上游工作流失败后，当前任务不会立即失败，而是保持等待状态，...
高性能计算引擎：内置 Fusion Engine，性能可达开源 Spark 的 4 倍；支持 Remote Shuffle Service Celeborn，提供 PB 级 Shuffle 能力并降低计算成本。高扩展性与弹性：基于阿里云 Serverless 底座，提供秒级资源弹性伸缩，按实际计算资源...
kb-c7141f10c3f549fc9f8b8ae562b8*请求参数 名称 类型 必填 描述 示例值 当前API无需请求参数 返回参数 名称 类型 描述 示例值 object 响应结构体。requestId string 请求 ID。DD6B1B2A-5837-5237-ABE4-FF0C8944*data any 返回数据。true ...
调用AddMembers将RAM用户或RAM角色添加到工作空间作为新成员。...DD6B1B2A-5837-5237-ABE4-FF0C8944*示例 正常返回示例 JSON 格式 {"requestId":"DD6B1B2A-5837-5237-ABE4-FF0C8944*"} 错误码 访问 错误中心 查看更多错误码。
背景信息 本文为您介绍运维中心的相关操作，具体如下：查看项目任务概览 管理工作流记录 查看审计日志 前提条件 已创建项目，具体请参见 项目管理。查看项目任务概览 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce...
Hadoop DistCp和Jindo DistCp的区别 DistCp类型 功能 使用场景 Hadoop DistCp 开源Hadoop内置的DistCp工具，用于大型集群间或集群内数据的复制。HDFS到HDFS间的数据复制。Jindo DistCp JindoFS的数据迁移工具，支持OSS、OSS-HDFS服务、兼容...
本文为您介绍 开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 starrocks,sr，支持的授权粒度为 操作级。权限策略通用结构 ...
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。前置概念 阅读本文前，您可能需要了解如下概念：什么...
返回数据 名称 类型 示例值 描述 RequestId String EBB4D49C-4064-4818-B3AE-4C6BE5FC8264 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=AddClusterService&ClusterId=C-F32FB31D82954C64&RegionId=...
计费组成 EMR Serverless Spark的计费项目主要来源于计算资源，即实际可用于计算的资源。费用将根据您按量付费的实际使用量进行收取，计量单位为CU。按量付费的使用量可以通过计算资源抵扣包进行抵扣，详情请参见 资源抵扣包。计算资源 CU ...
启动Kyuubi Gateway。调试 您可以在OpenAPI Explorer中...true 示例 正常返回示例 JSON 格式 {"requestId":"DD6B1B2A-5837-5237-ABE4-FF0C8944*","data":"true"} 错误码 访问 错误中心 查看更多错误码。变更历史 更多信息，参考 变更详情。
在使用阿里云E-MapReduce服务时，为了避免数据泄露、误操作等安全风险，有必要对项目内成员的权限进行合理的管控。本文将为您介绍E-MapReduce服务的权限管理体系。权限体系 类别 说明 权限主体 E-MapReduce支持的权限主体如下：用户：包含...
在 项目管理 页面，单击已有项目的项目名称。在左侧导航栏，选择 实例运维 工作流实例。在 工作流实例 页面，可以查看所有工作流实例。查看任务日志 在 工作流实例 页面，单击工作流实例名称。在DAG页面，双击任务节点。在 当前任务设置 ...
示例 测试数据 表1：test_source_union1 a（varchar）b（bigint）c（bigint）test1 1 10 表2：test_source_union2 a（varchar）b（bigint）c（bigint）test1 1 10 test2 2 20 表3：test_source_union3 a（varchar）b（bigint）c（bigint）...
返回数据 名称 类型 示例值 描述 RequestId String F2BF8586-045D-4104-B00C-44A4AA619C05 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=DeleteClusterTemplate&BizId=CT-35498C56B3F1*&RegionId=cn-hangzhou & 公共请求参数 正常...
通过Kyuubi Gateway，以兼容开源Kyuubi的方式提交SQL任务。数据目录 支持使用RAM用户（子账号）身份访问DLF。支持访问DLF 2.0 Hive Catalog。资源观测 支持观测工作空间、队列的资源消耗情况。运行环境 Spark Submit工具支持通过配置参数-...
公测面向所有用户开放，您可以在 E-MapReduce控制台，选择 EMR Workbench Workflow，进入EMR Workflow页面创建项目并进行测试。重要 公测期间您可以免费试用EMR Workflow服务，但EMR Workflow工作流运行时需要关联EMR集群，创建或使用已有...
前提条件 已创建好项目，详情请参见 项目管理。已准备好Hive SQL的脚本，并上传到OSS的某个目录中（例如 oss:/path/to/uservisits_aggre_hdfs.hive）。uservisits_aggre_hdfs.hive 内容如下。USE DEFAULT;DROP TABLE uservisits;CREATE ...
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。在 项目列表 页面，单击右上角的 集群模板。在集群模板列表页面，您可以...
kb-f99935b350fb4*7ef700b8b4197a3 示例 正常返回示例 JSON 格式 {"requestId":"DD6B1B2A-5837-5237-ABE4-FF0C8944*","data":{"kyuubiServiceId":"kb-f99935b350fb4*7ef700b8b4197a3"} } 错误码 访问 错误中心 查看更多错误码。变更历史 更...
后续操作 创建完工作空间后，您可以在弹出的对话框中单击 管理项目成员，或者进入工作空间单击 设置，为该工作空间配置成员，方便RAM用户可以快速使用该工作空间，详情请参见 管理用户。创建笔记本前，您需要先绑定集群或添加数据库，详情...
调用CreateScalingGroupV2接口，创建伸缩组。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以...{"RequestId":"6C96FD2C-95A0-4C03-8A19-7D84A4BAAA1E","Data":"SGB-8C44755C8432*"}
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后，将根据集群...
前提条件 已创建好项目，详情请参见 项目管理。已准备好作业所需的资源，以及作业要处理的数据。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
本文为您介绍如何使用CLI提交Presto...trino-server https://trino-cli.c-b95f82c36ee646c5.c1e36180fdf3745c9b7bbc8d3e682*.cn-hangzhou.alicontainer.com --user admin --password --insecure 重要 您在前一步骤中获取到的Trino UI的链接为 ...
操作步骤 使用SSH隧道方式访问Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。说明 建议您首次使用Kafka Manager时修改默认密码。为了防止8085端口暴露，建议使用SSH隧道方式来访问Web界面。如果使用 http://localhost:8085 方式...
测试结果 a（VARCHAR）b（INT）c（DATE）a1 211 1990-02-20 b1 120 2018-05-12 c1 89 2010-06-14 a1 46 2016-04-05 示例二 测试语句 SELECT a,c AS d FROM 表名;测试结果 a（VARCHAR）d（DATE）a1 1990-02-20 b1 2018-05-12 c1 2010-06-14 ...
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
kb-c7141f10c3f549fc9f8b8ae562b8*请求参数 名称 类型 必填 描述 示例值 body object 否 请求结构体。kyuubiConfigs string 否 Kyuubi Service 配置。[]sparkConfigs string 否 Spark 配置。[]name string 否 名称。dev_serverless_spark ...