本文为您介绍如何在DataWorks绑定自建 Hadoop 集群并进行任务开发，以及如何自定义自建集群运行环境。背景信息 您可通过注册CDH集群时配置自建Hadoop集群服务地址的方式，在DataWorks访问您自建的Hadoop集群，并通过DataWorks默认CDH镜像...
调用ListFlowClusterAll接口，查询数据开发可用的集群列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
DataWorks提供与CDH（Cloudera’s Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，您可在DataWorks中注册CDH及CDP集群，进行任务开发、调度、数据地图（元数据管理）和...
默认访问身份 定义在当前工作空间下，使用什么身份访问该EMR集群。开发环境：可选择使用集群账号 hadoop，或任务 执行者 所映射的集群账号。生产环境：可选择使用集群账号 hadoop，任务责任人、阿里云主账号或阿里云子账号所映射的集群账号...
默认访问身份 定义在当前工作空间下，使用什么身份访问该EMR集群。开发环境：选择使用 集群账号：hadoop。生产环境：选择使用 集群账号：hadoop。传递Proxy User信息 选择 不传递。计算资源实例名 自定义计算资源实例名称。单击 确认，完成...
Hadoop：Hadoop集群开发前准备工作。已创建ClickHouse数据源并绑定至工作空间。您需要在DataWorks中创建ClickHouse数据源并绑定至数据开发（Data Studio），才可通过ClickHouse数据源访问ClickHouse数据，进行后续的开发操作。详情请参见 ...
Hadoop：Hadoop集群开发前准备工作。已 绑定ClickHouse计算资源 至工作空间。您需先将您的ClickHouse数据库创建为DataWorks的ClickHouse计算资源并绑定至数据开发（DataStudio），才可通过ClickHouse计算资源访问ClickHouse数据，进行后续...
标签 API 标题 API概述 ListTagResources 查询集群的标签列表 您可以为集群添加标签键值对，让集群开发或运维人员能够更灵活地对集群进行分类管理，更好的支持监控、成本分析、租户隔离等需求。您可以调用ListTagResources接口，获取资源...
集群 API 标题 API概述 CreateCluster 创建集群 您可以通过OpenAPI创建ACK集群，包含ACK托管集群、ACK Serverless集群，ACK Edge集群以及注册集群。创建集群时，您将完成集群信息、集群组件以及ACK相关云资源的配置。DeleteCluster 删除...
集群 API 标题 API概述 CreateCluster 创建集群 您可以通过OpenAPI创建ACK集群，包含ACK托管集群、ACK Serverless集群，ACK Edge集群以及注册集群。创建集群时，您将完成集群信息、集群组件以及ACK相关云资源的配置。DeleteCluster 删除...
使用DataWorks进行大数据开发时，支持对开发、测试、生产等...具体操作如下图所示：任务发布开发环境时，变量会自动赋值为开发集群中存在的数据库（emr_dev）。任务发布至生产环境时，变量会自动赋值为生产集群中存在的数据库（emr_prod）。
本文使用指引 本文主要面向 ACK托管集群Pro版 的集群开发和管理人员，提供规划和使用大规模集群的通用性建议，具体情况请根据实际集群环境和业务需求调整。说明 根据 安全责任共担模型，ACK集群负责集群管控面组件（包括Kubernetes控制面...
EMR数据开发集群自带教程，本文以Airflow调度教程1为例介绍。在左侧导航栏中，单击 Zeppelin。在 Zeppelin 页面，选择 阿里云EMR数据开发教程 Airflow教程 Airflow调度教程1。页面展示如下图所示。区域 描述 ① Markdown语言（以%md开头）...
ACK One GitOps检测到应用部署代码仓库中镜像版本号的变化后，触发Application将最新镜像部署到持续集成开发集群（Dev）。对于配置了自动同步Application的持续集成测试集群，ACK One GitOps会自动变更应用的镜像版本。Image Updater会监测...
DataWorks提供了与CDH（Cloudera’s Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，您可在DataWorks中注册CDH及CDP集群，进行任务开发、调度、数据地图（元数据管理）...
若您要使用DataWorks进行ClickHouse集群任务的开发、管理，需先将您的ClickHouse集群创建为DataWorks的ClickHouse计算资源。创建完成后，可在DataWorks的各功能模块使用该计算资源连接ClickHouse集群，进行相应的数据同步、数据开发等操作...
若您要使用DataWorks进行E-MapReduce（简称EMR）任务的开发、管理，需先将您的E-MapReduce集群绑定为DataWorks的EMR计算资源。绑定完成后，可在DataWorks中使用该计算资源进行数据同步和开发等操作。前提条件 DataWorks已 创建工作空间，...
元数据存储选择 若要实现DataWorks标准模式工作空间的开发环境与生产环境隔离机制，您需在DataWorks 管理中心 开源集群 配置处，为开发环境和生产环境注册两个不同的EMR集群。同时，为满足数据隔离要求，两个集群的元数据需使用阿里云关系...
在使用数据开发工作流完成作业任务时，如果您只关注作业任务是否完成，可以使用集群模板功能来快速建立集群，调度系统会在工作流启动时按照模板创建一个集群，然后将作业下发到该集群上执行。当工作流结束后，调度系统会自动释放该集群。...
相关数据规划如下表：云产品 参数 示例 云SSO 人员管理-用户 集群应用运维：zhangsan 集群应用开发：lisi 集群应用权限管理员：yaofang 访问配置管理 集群应用运维角色：ACK-SRE 集群应用开发角色：ACK-DEV 集群应用权限管理：ACK-APP-...
每个租户下可以通过Session集群资源组创建Session集群，用于Flink任务的开发调试。本文将为您介绍如何基于Session集群资源组新建Session集群。使用限制 目前一个租户仅支持创建一个Session集群。权限说明 仅支持 超级管理员 或 系统管理员 ...
步骤二：开发CDH Spark SQL任务（可选）选择CDH集群实例 若您的工作空间注册了多个CDH集群，则可在节点编辑页面顶部选择合适的集群。若仅注册了一个CDH集群，默认使用该集群进行开发操作。开发SQL代码 开发SQL代码：简单示例 在CDH Spark ...
更多绑定集群的配置详情，请参见 新版数据开发：绑定EMR计算资源。配置资源组初始化。初次绑定EMR计算资源、集群服务配置变更 或 组件版本升级（例如：修改core-site.xml）请初始化资源组，确保通过 配置网络连通，资源组可正常访问EMR集群...
创建EMR相关节点并开发EMR任务前，您需要先将EMR集群注册至DataWorks工作空间，操作详情请参见 旧版数据开发：绑定EMR计算资源。（可选，RAM账号需要）进行任务开发的RAM账号已被添加至对应工作空间中，并具有 开发 或 空间管理员（权限较...
ACK托管集群：提供开箱即用的高可用Kubernetes集群，控制面（控制面组件、Master节点和etcd）由ACK全托管，只需自行创建和运维Worker节点，从而更专注于业务应用的开发和部署。计费说明：收取Worker节点和其他基础资源费用。ACK集群Pro版 ...
已绑定EMR集群为DataWorks计算资源，详情请参见 新版数据开发：绑定EMR计算资源。说明 在绑定EMR计算资源时，需完成 资源组初始化，否则无法找到Kyuubi 配置页面。设置Kyuubi连接信息 进入Kyuubi配置页面。进入管理中心页面。登录 ...
对于 云消息队列 Confluent 版 集群来说，影响资源使用的因素众多，包括使用的业务场景、业务应用程序性能等，本文结合一般场景给出 云消息队列 Confluent 版 集群资源评估参考建议，帮助您在购买创建集群时评估集群规模。在集群创建完成后...
您可参考 Spark官方文档 自定义全局Spark参数，并配置全局Spark参数的优先级是否高于指定模块内（数据开发、数据分析、运维中心）的SPARK参数。本文为您介绍如何设置全局Spark参数。背景信息 Apache Spark是用于进行大规模数据分析的引擎。...
若您要使用DataWorks进行Flink任务的开发、管理，需先将您的实时计算Flink集群绑定为DataWorks的全托管Flink计算资源。绑定完成后，可在DataWorks中使用该计算资源进行数据开发操作。前提条件 已 开通实时计算Flink版集群。说明 建议购买...
DataWorks支持使用快捷模式及安全模式注册...管理者可以使用EMR集群内的Ranger组件对每个集群账号进行权限管控，最终实现不同身份在DataWorks上运行EMR任务时，拥有不同的数据操作权限。适用于对任务执行者有数据权限管控隔离要求的工作空间。
白名单配置 当集群开启Ranger认证时，您需要为集群添加DataWorks白名单，以确保DataWorks可以正常访问EMR集群。白名单配置，详情请参见 附录：添加DataWorks白名单。用户管理 若您使用非系统账号进行集群身份认证（例如：Kerberos），则...
CDP与CDH的集群身份映射配置操作基本一致，本文以CDH为例，为您介绍相关操作详情。映射类型说明 在DataWorks注册CDH集群时，可通过 默认访问身份 参数，配置后续在DataWorks运行CDH集群任务时，实际在CDH集群内执行任务代码使用的账号，...
若希望使用DataWorks的计算能力在Kubernetes集群上运行大数据任务（例如Spark on Kubernetes），需先将Kubernetes集群绑定为DataWorks的Kubernetes计算资源。创建完成后，即可在DataWorks的数据开发模块中使用该计算资源，进行Spark等类型...
普通资源 ALIYUN:CS:AnyCluster：创建任意类型的Kubernetes集群实例 ALIYUN:CS:KubernetesCluster：创建 ACK专有集群 ALIYUN:CS:ManagedEdgeKubernetesCluster：创建 ACK Edge集群 ALIYUN:CS:ManagedKubernetesCluster：创建 ACK托管集群 ...
通过ACK One GitOps，可在多个集群上构建开发（Dev）、预发（Staging）、生产（Production）多阶段部署流水线，以提升部署效率，实现混合云场景下快速、一致、安全地应用持续部署。方案介绍 本实践基于 ACK One GitOps 和 容器镜像服务ACR ...
注册EMR集群至DataWorks 协同开发环境准备 为保障RAM用户以工作空间为单位进行协同开发，您需执行如下操作：需将进行协同开发的RAM用户添加为当前工作空间的成员，并授予其开发角色。将工作空间成员添加至EMR集群环境中。空间级模块权限...
注册CDH或CDP集群至DataWorks 协同开发环境准备 为保障RAM用户以工作空间为单位进行协同开发，您需执行如下操作：需将进行协同开发的RAM用户添加为当前工作空间的成员，并授予其开发角色。将工作空间成员添加至 CDP或CDH 集群环境中。工作...
部分场景可能导致数据源或集群无法绑定至DataStudio（数据开发）：部分数据源或集群是否可在DataStudio绑定，与数据源或集群的配置有关。例如，不支持在DataStudio绑定AccessKey及AccessSecret模式创建的数据源。更多绑定限制，请参见产品...