前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 ...
ProjectId String 是 FP-53C4D36FC731*待克隆工作流所属的项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 ...
在 项目管理 页面，单击已有项目的项目名称。在左侧导航栏，选择 实例运维>工作流实例。在 工作流实例 页面，可以查看所有工作流实例。查看任务日志 在 工作流实例 页面，单击工作流实例名称。在DAG页面，双击任务节点。在 当前节点设置 ...
SOFABoot 目前对外开放的有开源版和商业版，本文介绍这两个版本的特点及适用场景，您可以根据自身需求自由选择合适的版本。选型指南 各个版本的能力和适用场景信息见下表：版本 能力 场景 文档 开源版本 具有模块化开发、类隔离、日志隔离...
前提条件 已创建好项目，详情请参见 项目管理。已准备好作业所需的资源，以及作业要处理的数据。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。在 项目列表 页面，单击右上角的 集群模板。在集群模板列表页面，您可以...
阿里云E-MapReduce（简称EMR）提供的导出服务配置...在 软件配置 的 高级设置 区域，打开 软件自定义配置 开关。复制导出的JSON格式服务配置中的内容到配置框中。单击 下一步：硬件配置，继续创建集群。创建集群的具体操作，请参见 创建集群。
前提条件 已创建好项目，详情请参见 项目管理。已准备好Hive SQL的脚本，并上传到OSS的某个目录中（例如 oss:/path/to/uservisits_aggre_hdfs.hive）。uservisits_aggre_hdfs.hive 内容如下。USE DEFAULT;DROP TABLE uservisits;CREATE ...
概念 说明 工作空间 工作空间是EMR Workflow管理项目、工作流，分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以加入成员至工作空间，并赋予工作角色，以实现多角色协同工作。调度资源...
ProjectId String 是 FP-C62EEC30F773*克隆的目标作业所属项目。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。Name String 否 test 克隆的...
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
手动执行类似引导操作，在集群创建完成后，您可以通过手动执行功能来安装集群尚未支持的软件和服务，例如：使用YUM安装已经提供的软件。直接下载公网上公开的软件。读取您OSS中的自有数据。安装并运行服务（例如，Flink或者Impala），但...
调用DeleteFlowProjectUser接口，删除项目用户。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 ...
调用ModifyFlowProject接口，修改数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
资源组会对您拥有的云资源从用途、权限和归属等维度上进行分组，实现企业内部多用户、多项目的资源分级管理。一个云资源只能属于一个资源组，云资源之间的关联关系不会因加入资源组而发生变化。E-MapReduce目前支持资源组的云资源为集群和...
调用DeleteFlowProject接口，删除数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
高级设置 软件自定义配置：可指定JSON文件对集群中的基础软件（例如Hadoop、Spark和Hive等）进行配置，详细使用方法请参见 软件配置。默认不开启。硬件配置。区域 配置项 描述 付费类型 付费类型 默认包年包月。当前支持的付费类型如下：...
调用CreateFlowProjectUser接口，添加项目用户。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 ...
背景信息 Thrift是一个可伸缩，跨语言服务RPC框架，集成了强大的软件堆栈及代码生成引擎，使得各种语言做到无障碍，高效通信，目前支持C++、Java、Python、PHP、Ruby、Erlang、Perl、Haskell、C#、Go、Cocoa、JavaScript、Node.js和...
调用DeleteFlowProjectClusterSetting接口，删除项目集群设置。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
在 项目列表 页面，单击目标项目所在行的 作业编辑。进行作业设置。在 作业编辑 页面，选择需要操作的作业名称，单击右上角的 作业设置。在 配置参数 区域，单击 图标，新增参数，并按照上文介绍的变量通配符格式填写参数。配置完成后就...
HBase配置 您可以在创建HBase集群的 软件配置 页面，利用 高级设置 的 软件自定义配置 功能，结合使用场景，修改HBase的默认参数，示例如下。{"configurations":[{"classification":"hbase-site","properties":{"hbase.hregion.memstore....
前提条件 已创建项目，详情请参见 项目管理。已获取作业所需的资源和数据文件。例如，JAR包、数据文件名称以及两者的保存路径。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据...
高级设置 软件自定义配置：可指定JSON文件对集群中的基础软件（例如Hadoop、Spark和Hive等）进行配置。默认不开启。硬件配置。配置项 描述 付费类型 默认包年包月。当前支持的付费类型如下：按量付费：一种后付费模式，即先使用再付费。...
步骤三：创建手动任务 在 项目管理 页面，单击新建项目的项目名称。在左侧导航栏，选择 数据开发>手动任务定义。在 手动任务定义 页面，单击 创建手动任务。在弹出的对话框中，配置相关的参数，单击 确定。本文以SHELL任务类型，使用自定义...
调用DescribeFlowProject接口，查询项目详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
EMR集群中Flume的软件安装目录为/opt/apps/FLUME/flume-current/lib。方式三：上传第三方的JAR包至$FLUME_HOME/plugins.d/目录下。相关的目录：$FLUME_HOME/plugins.d/lib：插件本身的JAR包。FLUME_HOME/plugins.d/libext：插件依赖的JAR包...
ProjectId String 是 FP-257A173659F5*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 Data Boolean ...
调用ModifyFlowProjectClusterSetting接口，修改项目集群设置。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
在创建集群的 软件配置 阶段，打开 高级设置 区域的 Kerberos身份认证 开关。单击 外部KDC。默认是 本群自建KDC，即当前集群为您创建KDC。使用您外部自建的KDC，需要填写以下信息。参数 描述 KDC Hosts KDC的IP地址和端口。多个IP地址时，...
调用CreateFlowProjectClusterSetting接口，创建项目集群设置。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
ProjectId String 是 FP-257A173659F5*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 Data Boolean ...
ProjectId String 是 FP-ABCDEFGHI*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。Name String 否 Test 目录名称。您可以调用 ...
步骤三：创建工作流 在 项目管理 页面，单击新建项目的名称。在左侧导航栏，选择 数据开发>工作流定义。在 工作流定义 页面，单击 创建工作流。在 创建工作流 页面，拖拽 SHELL 节点块到画布中。本文以 SHELL 任务类型为例。任务类型的详细...
ProjectId String 是 FP-3535FE0BE522*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 Data Boolean ...
ProjectId String 是 FP-3535FE0BE522*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 区域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 Data Boolean ...
您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以加入成员至工作空间，并赋予工作空间管理员、数据分析、数据开发或访客角色，以实现多角色协同工作。本文为您介绍工作空间的基本操作。前提条件 已开通数据湖构建...
ProjectId String 是 FP-3535FE0BE522*项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 描述 Data Boolean ...