使用开放数据 将开放数据安装到目标工作空间的 MaxCompute 计算资源后，您可以在数据开发或数据分析模块中，基于该目标工作空间的MaxCompute计算资源，直接访问已授权的元数据视图信息。在数据地图左侧导航栏中，单击 图标，进入数据目录...
创建完成后，可在DataWorks的各功能模块使用该计算资源连接Hologres实例，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已 购买Hologres实例 并 创建数据库。重要 购买Hologres实例时，请确保其与DataWorks工作空间位于同一...
您可参考 Spark官方文档 自定义全局Spark参数，并配置全局Spark参数的优先级是否高于指定模块内（数据开发、数据分析、运维中心）的SPARK参数。本文为您介绍如何设置全局Spark参数。背景信息 Apache Spark是用于进行大规模数据分析的引擎。...
产品列表 OpenLake免费试用会为您开通如下列表内的产品：分类 产品 开发平台 大数据开发治理平台DataWorks（DataWorks计费说明、DataWorks基础版、DataWorks通用资源组）、人工智能平台PAI 存储服务 数据湖构建DLF、对象存储OSS 计算资源 ...
功能项 说明 任务编排 通过一个或多个任务编排而成的任务组，实现数据归档、数据集成、数仓数据开发、数据挖掘等需求。数据服务 将DMS上管控的数据以API的形式快速对外输出。视频介绍 研发流程解决方案 数据安全解决方案 数据开发解决方案
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。调整DataStudio左侧导航栏模块（即区域2展示的功能）。新用户可根据区域1的提示，在DataStudio界面...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 请填写数据源的...
创建完成后，可在DataWorks的各功能模块使用该计算资源连接AnalyticDB for MySQL3.0集群，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已 创建AnalyticDB for MySQL3.0集群。说明 建议购买AnalyticDB for MySQL3.0集群时，...
步骤五：规范建模 数据开发 基于 规范定义 明确好的统计指标口径和 规范建模 部分定义好的模型完成规范建模数据开发。包括维度逻辑表、事实逻辑表、原子指标、业务限定、派生指标。步骤一：开发维度逻辑表 步骤二：开发事实逻辑表 步骤三：...
步骤五：规范建模 数据开发 基于 规范定义 明确好的统计指标口径和 规范建模 部分定义好的模型完成规范建模数据开发。包括维度逻辑表、事实逻辑表、原子指标、业务限定、派生指标。步骤一：开发维度逻辑表 步骤二：开发事实逻辑表 步骤三：...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在数据开发目录树区域，单击顶部菜单栏的 图标，进入 代码搜索 页面。配置搜索条件并查看搜索结果。...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 请填写数据源的...
GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基于GitHub Archive公开数据集，通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据，在DataStudio 数据开发 模块通过函数计算...
数据开发 数据开发层提供可视化工具和代码管理，涵盖数据的采集、清洗、建模、分析以及任务调度等一系列开发过程，旨在支持企业对数据资产的高效管理与利用。在EMR中数据开发的服务推荐使用阿里云产品DataWorks 和EMR Workflow。具体如下：...
DataWorks的数据目录功能支持将Hologres中的单表数据同步到MaxCompute，旨在帮助您更高效地进行大数据存储。本文将详细介绍从Hologres到MaxCompute的数据同步配置流程，让您能够轻松迁移数据并充分利用MaxCompute的高性能处理能力。前提...
数据源展示类型及存储类型 大数据&分析型 数据源展示类型 Label 数据源存储类型 Value MaxCompute maxcompute Hive hive Hologres hologres Lightning lightning ClickHouse clickhouse StarRocks starrocks SelectDB selectdb AnalyticDB ...
电商网站智能推荐基于阿里巴巴的大数据和人工智能技术，结合在电商行业的多年积累，为开发者提供个性化推荐服务，提升商品的购买率和转化率。概述 本实践以电商网站为例，通过日志服务采集日志，将RDS作为后端数据服务、MaxCompute作为数据...
DataWorks的数据目录功能支持将MaxCompute中的单表数据同步到Hologres，旨在帮助您更高效地进行大数据分析与实时查询。本文将详细介绍从MaxCompute到Hologres的数据同步配置流程，让您能够轻松迁移数据并充分利用Hologres的高性能查询能力...
发布并物化模型 维度表、明细表、汇总表、应用表可直接发布物化至创建的数据源实例中，用于后续计算引擎进行数据开发、数据分析等。当前支持将表直接发布物化至MaxCompute、Hologres、EMR Hive、CDH、MySQL引擎。发布模型。模型创建完成后...
数据服务价值 为了解决常见的数据应用问题，在数据服务体系下，开发人员开发数据服务时，提供简易向导和灵活脚本两种模式，从而降低开发门槛、提高开发效率、统一代码质量，方便管理变更；业务人员应用数据服务时，提供安全、稳定的数据...
数据服务价值 为了解决常见的数据应用问题，在数据服务体系下，开发人员开发数据服务时，提供简易向导和灵活脚本两种模式，从而降低开发门槛、提高开发效率、统一代码质量，方便管理变更；业务人员应用数据服务时，提供安全、稳定的数据...
说明 如果需要在DataWorks界面上展示脱敏效果，需要打开 数据开发/数据地图展示脱敏。创建数据脱敏场景更多内容请参见 创建数据脱敏场景。新建数据脱敏规则。（可选）白名单配置。若脱敏规则指定的数据不需要对某些用户进行脱敏展示，您可...
数据服务解决从数仓到应用的“最后一公里”，将数据源中的数据表快速生成数据API，在API网关进行统一管理和发布。实现低成本、易上手、安全稳定的数据共享与开放。背景信息 为了将最终分析的结果加速查询后开放出API接口对接三方服务，本次...
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
基础版 DataWorks资源组 通过DataWorks进行数据集成、数据开发、数据调度等任务时，需要消耗计算资源，您需要配套购买资源组，以确保后续任务的顺利运行。资源组名称：自定义 专有网络（VPC）、交换机（V-Switch）：没有VPC和交换机：如果...
您可以通过MaxCompute函数面板，查看在MaxCompute计算引擎中存在的函数、函数的变更历史，并可以一键添加函数至数据开发面板的业务流程中。查看函数 进入 数据开发 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据...
说明 部分DataWorks功能模块（例如，数据质量、数据开发、数据分析）触发的任务没有实例ID，平台会展示为中划线（-）。EMR作业类型：仅支持查看 MAPREDUCE 及 SPARK 类型的作业。运行时间排序：您可对 开始时间 或 结束时间，进行升序或降...
DataWorks 是阿里云提供的一站式大数据开发与治理平台，旨在帮助用户解决从数据接入、处理、治理到服务化的全链路数据问题。它通过一系列高度协同的功能模块，将复杂的数据工程流程化、可视化，显著降低了大数据开发的门槛。本文将为您逐一...
绑定完成后，可在DataWorks的各功能模块使用该计算资源连接MaxCompute项目，进行相应的数据同步、数据开发、数据分析等操作。使用限制 地域限制：华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华北6（乌兰察布）、华南1...
支持的数据源及同步方案 数据开发、数据分析 环境准备 基于DataWorks进行计算引擎任务周期性调度前，您需先将集群添加至DataWorks。添加后，才可使用该集群进行相关数据开发、数据分析、周期性调度运行任务等操作。注册EMR集群至DataWorks ...
创建完成并测试连接通过后，便可以在DataWorks的各个模块中使用，以下是数据源使用场景的举例：功能模块 使用场景 支持的数据源类型 数据集成 执行数据同步任务，支持不同数据源间（如MySQL到MaxCompute）的数据迁移，支持单表、整库、离线...
您需要在工作空间中开启动态脱敏，开启后DataWorks的动态脱敏策略数据开发、数据分析的脱敏功能生效。单击 动态脱敏 页签内单击进入 工作空间管理 页签。在 工作空间管理 页签，可在 状态 列对单个空间进行 开启 或 禁用，亦或是勾选多个...
若想使用创建的数据源进行数据开发，则数据源创建完成后还需进入数据开发（DataStudio）进行模块绑定。已绑定的计算引擎：已绑定的计算引擎迁移至 计算资源 进行管理。编辑计算引擎：不再支持直接编辑计算引擎，如需编辑可通过编辑数据源来...
若您要使用DataWorks进行云原生数据仓库AnalyticDB PostgreSQL版实例（以下简称 AnalyticDB for PostgreSQL）任务的开发、管理，需先将您的AnalyticDB for PostgreSQL实例绑定为DataWorks的AnalyticDB for PostgreSQL计算资源。创建完成后...
后续操作 新版数据开发：配置完ClickHouse计算资源后，您可在数据开发中通过 离线同步节点 进行数据同步操作、通过 ClickHouse SQL节点 进行数据开发操作。旧版数据开发：配置完ClickHouse计算资源后，您可在数据开发中通过 数据集成 离线...
SQL窗口介绍 SQL Console初体验 SQL Console新交互模式下变更表数据和结构 数据工作站 数据集成 离线集成是一种低代码开发数据加工任务的工具，可以组合各类任务节点形成数据流，通过周期调度运行达到数据加工、数据同步的目的。...
补数据 补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据报错调起的节点运行时间不在所选业务时间范围内？为什么有节点选择了补数据...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击 数据源，进入 数据源 页面，通过 新建数据源 添加MaxCompute项目。单击 新建数据源并绑定数据...
本产品（大数据开发治理平台 DataWorks/2024-05-18）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...
本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据...