前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
cd/opt/apps/KNOX/knox-current/templates sh ldap-sample-users.sh 访问Web UI 访问Web UI的详情，请参见 通过控制台访问开源组件Web界面。常见问题 Q：Knox组件异常停止，启动Knox的时候报错 Failed to start gateway:org.apache.hadoop....
前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 ...
Spark接入 SMQ 示例代码如下。val conf=new SparkConf().setAppName("Test MNS Streaming")val batchInterval=Seconds(10)val ssc=new StreamingContext(conf,batchInterval)val queuename="queuename"val accessKeyId=System.getenv(...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以通过 http://emr-header-1:8101/ 访问JindoFS Web UI功能。JindoFS 3.0.x版本提供总览信息（Overview）...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以通过 http://emr-header-1:8101/ 访问JindoFS Web UI功能。JindoFS 3.0版本提供总览信息（Overview）、...
目前EMR Notebook支持以下类型的单元格：SQL：用于编辑和运行SQL代码。Python：用于编辑和运行Python程序。Markdown：用于进行文本编辑，支持Markdown的语法。新建笔记本 进入EMR Notebook页面。登录 E-MapReduce控制台。在左侧导航栏，...
与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL和Optimize的支持等。下表列出了Delta Lake的基本特性，并对比EMR-Delta Lake与开源Delta Lake（0.6.1）。特性 EMR-Delta 开源Delta SQL ALTER CONVERT CREATE ...
在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息 集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端...
由于ACK控制台上 访问链接与端口 不可用，您可通过以下配置访问开源组件的Web UI。登录 容器服务管理控制台。在 集群列表 页面，单击EMR on ACK所关联集群的 集群名称。鼠标悬浮在左边菜单栏 网络，单击 服务，在服务页面更新YAML文件。...
添加依赖 需要判断的依赖任务，可以是某一个项目中的工作流具体的任务执行情况。依赖失败策略 失败（默认）：依赖的上游工作流失败后，当前任务会立即标记为失败。等待：依赖的上游工作流失败后，当前任务不会立即失败，而是保持等待状态，...
高性能计算引擎：内置 Fusion Engine，性能可达开源 Spark 的 4 倍；支持 Remote Shuffle Service Celeborn，提供 PB 级 Shuffle 能力并降低计算成本。高扩展性与弹性：基于阿里云 Serverless 底座，提供秒级资源弹性伸缩，按实际计算资源...
背景信息 本文为您介绍运维中心的相关操作，具体如下：查看项目任务概览 管理工作流记录 查看审计日志 前提条件 已创建项目，具体请参见 项目管理。查看项目任务概览 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce...
Hadoop DistCp和Jindo DistCp的区别 DistCp类型 功能 使用场景 Hadoop DistCp 开源Hadoop内置的DistCp工具，用于大型集群间或集群内数据的复制。HDFS到HDFS间的数据复制。Jindo DistCp JindoFS的数据迁移工具，支持OSS、OSS-HDFS服务、兼容...
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。前置概念 阅读本文前，您可能需要了解如下概念：什么...
计费组成 EMR Serverless Spark的计费项目主要来源于计算资源，即实际可用于计算的资源。费用将根据您按量付费的实际使用量进行收取，计量单位为CU。按量付费的使用量可以通过计算资源抵扣包进行抵扣，详情请参见 资源抵扣包。计算资源 CU ...
通过Spark访问MQ 代码示例如下。val Array(cId,topic,subExpression,parallelism,interval)=args val accessKeyId=System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID")val accessKeySecret=System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET")val...
在使用阿里云E-MapReduce服务时，为了避免数据泄露、误操作等安全风险，有必要对项目内成员的权限进行合理的管控。本文将为您介绍E-MapReduce服务的权限管理体系。权限体系 类别 说明 权限主体 E-MapReduce支持的权限主体如下：用户：包含...
EMR提供的组件包括开源和自研两大类，涵盖数据开发、计算引擎、数据服务、资源管理、数据存储、数据集成等领域，您可以按需选择和配置。说明 在创建集群时，如果没有您想使用的组件，或者想使用的开源组件仅对存量用户开放，您可以自行安装...
在 项目管理 页面，单击已有项目的项目名称。在左侧导航栏，选择 实例运维 工作流实例。在 工作流实例 页面，可以查看所有工作流实例。查看任务日志 在 工作流实例 页面，单击工作流实例名称。在DAG页面，双击任务节点。在 当前任务设置 ...
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 POST/api/v1/kyuubi/{workspaceId}/{kyuubiServiceId}/start HTTP/1.1 路径参数 名称 类型 必填 描述 示例值 workspaceId string ...
通过Kyuubi Gateway，以兼容开源Kyuubi的方式提交SQL任务。数据目录 支持使用RAM用户（子账号）身份访问DLF。支持访问DLF 2.0 Hive Catalog。资源观测 支持观测工作空间、队列的资源消耗情况。运行环境 Spark Submit工具支持通过配置参数-...
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 POST/api/v1/kyuubi/{workspaceId}/{kyuubiServiceId}/stop HTTP/1.1 路径参数 名称 类型 必填 描述 示例值 workspaceId string ...
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问...
公测面向所有用户开放，您可以在 E-MapReduce控制台，选择 EMR Workbench Workflow，进入EMR Workflow页面创建项目并进行测试。重要 公测期间您可以免费试用EMR Workflow服务，但EMR Workflow工作流运行时需要关联EMR集群，创建或使用已有...
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 DELETE/api/v1/kyuubi/{workspaceId}/{kyuubiServiceId} HTTP/1.1 路径参数 名称 类型 必填 描述 示例值 workspaceId string 否 ...
前提条件 已创建好项目，详情请参见 项目管理。已准备好Hive SQL的脚本，并上传到OSS的某个目录中（例如 oss:/path/to/uservisits_aggre_hdfs.hive）。uservisits_aggre_hdfs.hive 内容如下。USE DEFAULT;DROP TABLE uservisits;CREATE ...
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。在 项目列表 页面，单击右上角的 集群模板。在集群模板列表页面，您可以...
alluxio fs mount-option fs.oss.accessKeyId=OSS_ACCESS_KEY_ID \-option fs.oss.accessKeySecret=OSS_ACCESS_KEY_SECRET \-option fs.oss.endpoint=OSS_ENDPOINT \/oss_dir path/代码示例中的参数描述如下：OSS_ACCESS_KEY_ID：阿里云...
后续操作 创建完工作空间后，您可以在弹出的对话框中单击 管理项目成员，或者进入工作空间单击 设置，为该工作空间配置成员，方便RAM用户可以快速使用该工作空间，详情请参见 管理用户。创建笔记本前，您需要先绑定集群或添加数据库，详情...
魔笔提供了强大的代码扩展功能，允许开发者通过自定义 JavaScript 代码和集成第三方库来扩展应用的功能。（代码运行环境归属用户）概述 魔笔低代码开发平台旨在简化应用构建过程，降低技术门槛，让用户更加便捷地开发应用。然而，我们深知...
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后，将根据集群...
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问...
前提条件 已创建好项目，详情请参见 项目管理。已准备好作业所需的资源，以及作业要处理的数据。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
本文为您介绍如何在阿里云EMR Serverless Spark环境中使用Notebook进行开发，包括创建、编辑、运行、发布、导入和导出Notebook，以及在Notebook之间共享代码的操作。前提条件 已创建工作空间和Notebook会话，详情请参见 创建工作空间 和 ...