后续操作 数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供SSH任务的开发与调度能力，您可通过在SSH节点指定具体的SSH数据源的方式远程连接该数据源配置的主机，将 SSH节点 ...
运行历史面板为您展示最近三天您在数据开发界面运行过的所有任务记录，单击相应的任务，即可查看运行日志。说明 运行历史 界面只展示当前账号在数据开发（DataStudio）最近三天的运行记录。如您需查看调度任务每日运行情况，请前往 运维...
调用此接口，可以将指定的数据开发工作流移动到数据开发目录的目标路径。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...
电商网站智能推荐基于阿里巴巴的大数据和人工智能技术，结合在电商行业的多年积累，为开发者提供个性化推荐服务，提升商品的购买率和转化率。概述 本实践以电商网站为例，通过日志服务采集日志，将RDS作为后端数据服务、MaxCompute作为数据...
调用此接口，可以将指定的数据开发节点的路径移动到指定位置。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。...
调用此接口，可以删除指定的数据开发节点。接口说明 注意 当这个节点被发布后，无法删除，必须先下线再进行删除。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码...
本文从简单模式工作空间与标准模式工作空间物理形态、对开发行为的影响等多个维度为您介绍两种模式工作空间的区别。背景信息 本文内容由以下几部分构成，分别为您解决不同的问题。分类 说明 简单模式与标准模式介绍 不同工作空间模式的物理...
本文描述大数据开发治理平台 DataWorks支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云...
调用此接口，可以将指定数据开发文件资源移动到指定的数据开发目录中。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 部署方式 支持 集群 和 ...
通过DataWorks数据源：如需管理当前工作空间中 已创建的Hologres数据源，可在 DataWorks数据源 页签找到对应的数据源，单击 操作 栏的 添加为数据目录 按钮完成添加。也可在 DataWorks数据源 页签勾选多个Hologres数据源，单击列表下方的 ...
调用此接口，可以删除指定的数据开发文件资源。接口说明 注意 当这个文件资源被发布后，无法删除，必须先下线再进行删除。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 NameNode NameNode为HDFS...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 部署方式 支持 集群 和 ...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Protocol 基于FTP服务器...
数据开发界面历史执行日志如何获取？数据开发运行历史保留多长时间？引擎操作常见问题 EMR引擎 Hive相关：Hive使用时的常见问题。Spark相关：Spark使用时的常见问题。MaxCompute引擎 开发相关：SQL：SQL常见问题 内建函数：内建函数常见...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Protocol 基于FTP服务器...
操作难度 低 所需时间 30分钟 使用的阿里云产品 DataWorks：一站式大数据开发与治理平台，创建数据源并在数据开发绑定数据源后可在DataWorks上开发调度对应引擎的数据开发治理任务。MaxCompute：适用于数据分析场景的企业级SaaS模式云数据...
工作空间正是解决这些问题的核心单元，它通过提供一个独立的环境，让您能够清晰地组织开发任务、分配成员角色并绑定所需的计算引擎，从而确保数据开发流程的有序、安全与高效。工作空间概述 工作空间是DataWorks中进行任务开发和成员权限...
适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、AnalyticDB、StarRocks、PAI 等数十种大数据和AI计算服务，为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、大数据AI一体化开发、数据分析与主动式数据...
本案例指导您完成购房群体分析，帮助您掌握DataWorks的数据开发与数据分析流程。案例介绍 本案例基于用户买房数据，分析不同群体的购房情况。通过DataWorks进行数据开发和数据分析。将本地数据通过DataWorks上传至MaxCompute的 bank_data ...
数据开发/数据地图与数据分析场景的工作空间统一管控，改变其中一个场景的工作空间脱敏启用设置，另外一个场景同步改变。Hologres引擎暂不支持使用数据开发/数据地图展示脱敏。数据分析展示脱敏 在 数据分析 通过 SQL Notes 查询数据时，...
流转 大数据系统通常是端到端的一整套数据开发和治理服务，不仅要采集数据、加工数据，更要将数据提供给业务方使用。因此，其存在错综复杂的数据流转链路，包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他...
左上角的 图标，选择 全部产品 数据开发与运维 运维中心（工作流），进入 生产运维中心 页面，选择 周期任务。说明 虚拟节点不占用资源，所以无需也不支持修改调度资源组。如何切换数据集成任务执行时使用的数据集成资源组？切换数据集成...
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。本文以DataWorks的部分核心功能为例，指导您使用DataWorks接入数据并进行业务处理、...
本文为您介绍如何新建HttpFile和MySQL数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要...
单击当前页面左上方的 图标，选择 全部产品 数据开发与运维 DataStudio（数据开发）。在数据开发页面左侧导航栏，单击计算资源，绑定已添加的MaxCompute计算资源。说明 本示例使用的测试表中添加的测试数据来自MaxCompute 公开数据集，实际...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至MaxCompute的 ods_user_info_d、ods_raw_log_d 表。旨在介绍如何通过DataWorks数据集成实现异构...
使用 MaxCompute资源 面板中所列的资源时，请注意与 数据开发 面板中资源的区别。使用场景 数据开发 MaxCompute资源 在ODPS SQL节点中使用 是（需同时上传至MaxCompute）是 在ODPS MR节点中使用 是（需同时上传至MaxCompute）否 在Shell...
单击当前页面左上角的 图标，选中 全部产品 数据开发与运维 DataStudio（数据开发）。鼠标悬停至 图标，单击 新建 业务流程。在 新建业务流程 对话框中，输入 业务名称 和 描述。单击 新建。右键单击您所创建的业务流程，然后单击 新建节点...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建Spark外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据同步...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至StarRocks的 ods_user_info_d_starrocks、ods_raw_log_d_starrocks 表。旨在介绍如何通过...
DataWorks官方镜像为数据开发中的不同节点提供常用的运行环境，以满足不同任务的执行环境需求，您可在数据开发中直接使用官方镜像，也可以基于官方镜像创建自定义镜像后使用，本文将介绍官方镜像。镜像介绍 进行数据开发时，若未给节点配置...
SKIP：数据开发的空跑调度。ADHOCQUERY：临时查询。COMPONENT：组件管理。NORMAL FileFolderId string 文件所属文件夹的 ID。2735c2*ParentId long 如果当前文件是组合节点文件的内部文件，该字段标识对应组合节点文件的 ID。1 CreateUser ...
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。不同开发方式的使用方法、...
SKIP：数据开发的空跑调度。ADHOCQUERY：临时查询。COMPONENT：组件管理。NORMAL FileFolderId string 文件所属文件夹的 ID。2735c2*ParentId long 如果当前文件是组合节点文件的内部文件，该字段标识对应组合节点文件的 ID。1 CreateUser ...
背景信息 DataWorks的数据开发（DataStudio）面向各引擎（MaxCompute、Hologres、EMR、CDH等）提供可视化开发界面，包括智能代码开发、数据清洗加工、规范化任务开发与发布等，保证数据开发的高效与稳定。更多数据开发模块的使用，详情请...
上传数据至MaxCompute引擎：支持使用 Serverless资源组（推荐）、旧版资源组（独享调度资源组 或 独享数据集成资源组），且需确保数据上传任务使用的数据源与所选资源组网络连通。所选Serverless资源组和独享资源组需绑定至待接收数据的表...
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、基于Catalog开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。...
DataWorks的运行历史面板展示您最近三天在数据开发界面的任务执行记录。使用限制 仅展示 当前账号 的运行记录。仅展示 最近三天 的运行记录。仅展示数据开发模块的运行记录。如需查看调度任务每日运行情况，请前往 运维中心 的 周期实例，...