南京大数据开发

_相关内容

绑定AnalyticDB for MySQL3.0计算资源

若您要使用DataWorks进行AnalyticDB for MySQL3.0任务的开发、...旧版数据开发:配置完AnalyticDB for MySQL(V3.0)计算资源后,您可在数据开发中通过 数据集成 离线同步 节点进行数据同步操作,通过 AnalyticDB for MySQL 节点进行数据开发

Shell类型节点运行Python脚本

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。新建MaxCompute Python资源。在数据开发页面右键单击目标业务流程,选择 新建资源,在 MaxCompute ...

创建业务流程

DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求,也提供了 周期业务流程 和 手动业务流程 两种,以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程,...

配置AnalyticDB for MySQL输出

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开目标业务流程,右键单击 数据集成...

配置DataHub输入

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标业务流程...

上传数据

DataWorks的DataStudio(数据开发)支持将本地的CSV文件或自定义文本文件数据直接上传至MaxCompute表中,本文为您介绍相关操作。前提条件 已创建用于接收本地数据的MaxCompute开发表。建表操作请参见 创建并使用MaxCompute表。使用限制 ...

Shell类型节点使用ossutil工具

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。新建通用Shell节点。在数据开发页面右键单击目标业务流程,选择 新建节点,在 通用 目录下选择 ...

任务调试流程

调试运行单个任务 数据开发概述,在左侧导航栏的数据开发或手动业务流程模块,双击业务流程目录下的目标节点,进入该节点的编辑页面。调试运行任务。在节点编辑页面,使用节点工具栏中的运行或高级运行调试代码逻辑,也可通过快捷运行调试...

表管理

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 表管理。新建、查找及编辑目标表 新建表及导入表数据 在表管理页面,您可单击 及 ...

DataWorks新版数据源公告

若想使用创建的数据源进行数据开发,则数据源创建完成后还需进入数据开发(DataStudio)进行模块绑定。已绑定的计算引擎:已绑定的计算引擎迁移至 计算资源 进行管理。编辑计算引擎:不再支持直接编辑计算引擎,如需编辑可通过编辑数据源来...

用户画像分析(MaxCompute简化版)

通过本教程,您可以了解如何使用DataWorks和MaxCompute产品组合进行数仓开发与分析,并通过案例体验DataWorks数据集成、数据开发和运维中心模块的相关能力。案例介绍 为了更好地制定企业经营策略,现需要从用户网站行为中获取网站用户群体...

数据开发流程引导

本文为您介绍新版数据开发的基本开发流程。前提条件 已创建DataWorks工作空间并开通新版数据开发。本指南适用于新版数据开发,如需使用,请确保您的工作空间已开通新版数据开发。开通方式如下:创建工作空间 时,选择 使用新版数据开发...

查看代码结构

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。进入目标节点的编辑页面。您可以在 数据开发 或 手动业务流程 的目录树下,找到目标节点,双击该...

开放事件(OpenEvent)

数据下载前置事件-文件下载 不支持 支持 数据上传前置事件 不支持 支持 空间级事件 数据开发 数据开发消息格式详情请参见:数据开发事件列表。事件类型 事件 普通事件 扩展点事件 示例(产生事件消息的操作)节点变更 新增节点 支持 不支持...

DataWorks官方镜像

DataWorks官方镜像为数据开发中的不同节点提供常用的运行环境,以满足不同任务的执行环境需求,您可在数据开发中直接使用官方镜像,也可以基于官方镜像创建自定义镜像后使用,本文将介绍官方镜像。镜像介绍 进行数据开发时,若未给节点配置...

配置DataHub输出

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标业务流程...

配置代码模板

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左侧导航栏底部的 图标,进入 设置 页面。在 设置 页面,单击切换至 代码模板 页签,进入 代码...

调试代码片段:快捷运行

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。查找目标节点并进入节点编辑页面。在 数据开发 或 手动业务流程 功能模块的目录树,或通过 临时查询...

运行历史

DataWorks的运行历史面板展示您最近三天在数据开发界面的任务执行记录。使用限制 仅展示 当前账号 的运行记录。仅展示 最近三天 的运行记录。仅展示数据开发模块的运行记录。如需查看调度任务每日运行情况,请前往 运维中心 的 周期实例,...

Data Lake Analytics节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 自定义 Data Lake Analytics。您也可以打开相应的业务流程,右键...

操作检查

DataWorks提供了全链路的数据开发治理能力,为您提供了统一的数据开发治理流程,支持您基于自己的业务需求,在关键的流程节点上进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景信息 DataWorks的工作空间分为...

AnalyticDB for MySQL

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点 AnalyticDB for MySQL ADB for MySQL。在 新建节点 对话框中...

创建数据脱敏场景

DataWorks提供的 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏,及 数据集成静态脱敏 等静态脱敏均为一级脱敏场景,属于固定场景,不支持执行新增、编辑、删除等操作。同时,...

开发流程管控

DataWorks提供了全链路的数据开发治理能力,为您提供了统一的数据开发治理流程,同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...

认证文件管理

认证文件管理是DataWorks的核心安全功能,用于统一管理访问数据源的身份凭证。本文系统阐述了其上传、管理到引用的完整操作及应用场景,从而保障数据开发集成的安全与规范。

创建并使用AnalyticDB for PostgreSQL节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点 AnalyticDB for PostgreSQL ADB for PostgreSQL。在 新建节点...

编辑器代码提效

进入编辑器界面 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。进入节点的代码编辑器。在数据开发页面的左侧目录树查找目标节点,双击节点名称即可...

参数节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面,鼠标悬停至 图标,单击 新建节点 通用 参数节点。您也可以打开相应的业务流程,...

创建AnalyticDB for PostgreSQL表

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面,鼠标悬停至 图标,单击 新建表 AnalyticDB for PostgreSQL 表。您也可以打开相应...

配置检查项

在进行数据发布前,可通过检查项对数据开发功能相关的约束进行检查,当检查出不符合约束规范的内容时,系统会生成影响开发流程正常执行的问题事件,您可基于该事件处理暴露的问题,以保障数据开发流程可以正常执行。本文为您介绍如何查看并...

行业模型模版

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品 数据建模 维度建模。在顶部菜单栏单击 行业模型模版,进入行业...

使用节点组

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在左侧业务流程目录下,双击目标业务流程,进入该业务流程的编辑面板。新建节点组。生成节点组。您...

基于自建Hadoop集群进行任务开发

步骤三:使用自定义环境运行任务 镜像发布后,即可在数据开发中使用自定义镜像,根据是否使用新版数据开发(Data Studio),选择不同的使用方法,您可参考以下内容:登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与...

GetFile-获取文件的详情

该参数与 DataWorks 控制台 中,EMR Spark Streaming 和 EMR Streaming SQL 数据开发任务,编辑页面右侧导航栏的“配置 时间属性 启动方式“对应。true InputParameters array object 节点上下文输入参数。该参数与 DataWorks 控制台 中,...

MoveWorkflowDefinition-移动数据开发工作流路径

调用此接口,可以将指定的数据开发工作流移动到数据开发目录的目标路径。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...

GetFile-获取文件的详情

该参数与 DataWorks 控制台 中,EMR Spark Streaming 和 EMR Streaming SQL 数据开发任务,编辑页面右侧导航栏的“配置 时间属性 启动方式“对应。true InputParameters array object 返回结果。InputContextParameter object 返回结果。...

工作空间模式区别

附录:不同工作空间模式下,DataWorks模块对应操作的数据源 您可以在 数据开发 计算资源 界面下查看数据开发中已绑定的计算资源信息。绑定后,在不同工作空间模式下,DataWorks模块对应操作的数据源如下表所示:DataWorks模块 标准模式 ...

建模空间

模型设计师设置好 数据模型设计空间 与 数据研发工作空间 的关系后,模型设计师在进行模型(汇总表、维度表、明细表、应用表)发布时,可以选择将模型物化到被关联的某一个研发空间,后续数据开发工程师即可在对应的工作空间进行数据开发...

开发管控:管理者

作为工作空间的管理者,在使用数据开发(DataStudio)时,您可以针对用户的开发行为实施有效的管控措施,进行开发流程、数据安全、审计等相关操作,本文将帮助您快速掌握DataStudio的相关功能,实现对数据开发过程的有效管控。背景信息 ...

JSON数据从OSS迁移至MaxCompute

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击 数据源,进入 数据源 页面,通过 新建数据源 添加MaxCompute项目。单击 新建数据源并绑定数据...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用