设置目标表：选择MaxCompute项目名称为 doc_test_000，目标表 设置为 新建表，表名 设置为 dws_game_salse_nd，表类型 设置为 非分区表，生命周期 设置为 365 天。配置后可在 上传文件数据预览 中，检查上传的数据是否显示正常，如出现数据...
Dataphin支持对开发的实时任务代码进行数据采样或者手动上传并进行本地调试 或Session集群调试，以帮助您保障代码...并根据参数的实际项目（开发或生产项目），确定使用生产元表还是开发元表；若未指定${project_name}，则自动抽取生产元表。
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、基于Catalog开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。...
本产品（大数据开发治理平台 DataWorks/2020-05-18）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...
本文为您介绍DataWorks中，数据集成、数据建模、数据开发、数据分析、数据服务等模块开发过程中涉及的相关基本概念。通用概念 工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间管理员可以为工作空间加入...
使用迁移助手进行任务迁移时，需先将目标迁移对象（例如，周期任务、表）通过 DataWorks导出 功能导出，再通过 DataWorks导入 功能导入至相应工作空间中，完成任务的迁移。本文为您介绍如何创建DataWorks导入任务。使用限制 当前不同版本的...
DataWorks数据开发模块中绑定的MaxCompute项目，开启物化视图推荐后，当需要满足以下条件时，将会在物化视图推荐页面生成物化视图推荐。周期任务至少连续运行3天以上。公共子查询中的输入数据量大于1,000,000行。公共子查询中需要包含JOIN...
本文主要介绍如何创建并使用测试计划，以系统化的方式规划和执行软件测试流程，进而提升交付的可靠性。创建测试计划 项目进入研发阶段后，测试团队可以在测试计划模块创建新的测试计划，安排测试工作。在测试计划列表中，可以查看当前用户...
进度计算方式为=（本次任务中已识别的表数量/本次任务中全部要识别的表数量）*100%。步骤三：配置数据脱敏规则 用于对识别到的敏感数据进行脱敏规则配置。根据业务管控要求，不同敏感级别的数据脱敏管控存在差异。DataWorks目前支持动态...
数据源 权限说明 数据源范围 仅支持查询有权限的工作空间内的数据源数据，因此您需要先联系管理员将您 添加为工作空间的 数据分析师、模型设计师、开发、运维、空间管理员或项目所有者。数据源访问权限 数据源访问支持以下两种身份模式访问...
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
总表数：全局数据表总数，包括开发和生产两类项目中的逻辑表和物理表。项目数：全局项目总数，包括生产和开发两类项目。开发者数：Dataphin成员列表中成员数量的总和。数据回流表：以计算引擎源为数据来源，以物理数据源（业务）为目标的...
总表数：全局数据表总数，包括开发和生产两类项目中的逻辑表和物理表。项目数：全局项目总数，包括生产和开发两类项目。开发者数：Dataphin成员列表中成员数量的总和。数据回流表：以计算引擎源为数据来源，以物理数据源（业务）为目标的...
通过使用物联网应用开发（IoT Studio）平台的Web可视化开发和业务逻辑开发工具，开发一个茶园的环境监控大屏。...操作步骤 创建项目和产品 开发虚拟设备 使用云数据库创建数据表 开发获取温度数据的服务 开发可视化茶园监控大屏
读数据表组件用于读取MaxCompute表数据，默认读取本项目的表数据。如果跨项目读取表数据，则需要在表名前添加项目名。说明 目前 Designer 算法组件支持读取的数据类型为DOUBLE、BIGINT、STRING、BOOLEAN、DATETIME。读数据表组件支持读取...
本文为您介绍MaxCompute SQL常用开发命令。MaxCompute提供了对 项目空间、表、资源 及 实例 等对象的一系列操作。您可以通过各工具平台或SDK来操作这些对象。说明 对于SDK的更多介绍，请参见 MaxCompute SDK介绍。注意事项 本文按场景为您...
权限限制：需要拥有DataWorks工作空间的空间管理员、项目所有者或开发角色，才可以创建维表。详情请参见 为工作空间添加空间成员。字段类型限制：通过维表创建的MaxCompute表的字段均为STRING类型。如果使用其它类型的字段，无法使用维表...
软件开发完成日期距公司成立日期不足半年，且程序量较大，需要提供前期开发说明，可以以1个月一万行为标准。注意事项 软件的开发完成日期必须在企业成立日期之后，如距离企业成立日期较近，不符合一个合理的开发周期，需要提供前期开发说明...
本示例以标准模式工作空间为例，且仅在开发环境调试，所以仅需在开发环境对应的MaxCompute项目下创建 bank_data 表，若您使用的是简单模式工作空间，则只需在生产环境对应的MaxCompute项目下创建 bank_data 表即可。单击表目录右侧的 按钮...
平台为方便开发者的使用，提供了一个接入引导小助手，其功能包括查看产品开发的进度和设备开发的规范，帮助开发者知悉哪些产品开发步骤未完成，并支持快速前往相关开发页面。前提条件 已登录生活物联网平台并创建产品，详见 创建产品。功能...
DataWorks数据开发中提供的一键导入表结构功能，能够快速批量创建与MaxCompute表结构一致的Hologres外部表。本文介绍如何配置一键MaxCompute表结构同步节点任务，完成MaxCompute到Hologres数据库的表结构同步。背景信息 DataWorks基于 ...
不同预设角色对DataWorks各空间级功能的操作权限详情请参见下文的：数据管理 发布管理 按钮控制 代码开发 函数开发 节点类型控制 资源管理 工作流开发 项目管理 工作流运维 节点运维 大屏 基线 报警监控 数据集成 智能数据建模 数据分析 ...
如果您的开发模式为Dev-Prod，并且通过即席查询编写任务，则变量引用的格式包括以下两种情况：如果引用Prod项目中的表，则变量的引用格式为：${Prod业务板块英文名}.逻辑表 或${Prod项目英文名}.物理表。如果引用Dev项目中的表，则变量的...
如果您的开发模式为Dev-Prod，并且通过即席查询编写任务，则变量引用的格式包括以下两种情况：如果引用Prod项目中的表，则变量的引用格式为：${Prod业务板块英文名}.逻辑表 或${Prod项目英文名}.物理表。如果引用Dev项目中的表，则变量的...
前提条件 已完成以下操作：创建项目和产品 开发虚拟设备 使用云数据库创建数据表 说明 开发设备有不同的方法，用户可根据实际场景需要，选择相应的设备开发方法。本案例以开发虚拟设备为例。操作步骤 在开发工具模块，单击 业务逻辑。在 ...
项目模式选择 标准模式是指一个DataWorks项目对应两个MaxCompute项目，可设置开发和生产双环境，提升代码开发规范，并能够对表权限进行严格控制，禁止随意操作生产环境的表，保证生产表的数据安全。当您在DataWorks建立项目时，建议您使用...
本文介绍通过XIHE SQL（包含MPP和BSP模式）和Spark SQL方式进行内表作业开发的流程。作业开发流程概述 AnalyticDB for MySQL 数仓分层包含以下三层。ODS：数据运营层，对源数据进行ETL处理。在实际业务中，ODS层会从数据源抽取数据。为了...
如果您需要使用他人开发的表，则需要申请该表的权限，可同时申请表的行级和列级权限。本文为您介绍如何申请、续期和交还表权限。前提条件 需在 元数据中心 配置MySQL和Oracle数据库的采集任务才能使用数据源表权限。使用限制 仅Oracle和...
步骤二：实时项目规划 实时元表 元表是通过数据管理的跨存储类型表，开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。步骤三：创建实时计算表 实时任务 通过创建Flink_SQL流任务，读取或写入元表映射的数据源中的...
本文为您介绍如何在数据地图的配置管理页面，配置类目导航、工作空间下的MaxCompute表管理等操作。权限限制 在DataWorks中使用 配置管理 时，需要满足相应的权限，才能进行 配置管理 的操作。阿里云主账号默认具有操作权限。拥有 ...
例如用户已经被赋予了开发角色，默认具备删除表的权限，但如果需要禁止用户执行删除表操作，可以通过Policy方式进行授权。Download权限控制 适用于管控数据流出MaxCompute项目的权限，控制用户或角色下载表数据、资源、函数或实例的权限。...
项目模式选择 标准模式是指一个DataWorks项目对应两个MaxCompute项目，可设置开发和生产双环境，提升代码开发规范，并能够对表权限进行严格控制，禁止随意操作生产环境的表，保证生产表的数据安全。当您在DataWorks建立项目时，建议您使用...
物理表名 开发环境中节点输入参数的物理表名，可自定义新建物理表名或者选择已物理化至资源库中的物理表名。当输入数据结构为星号（*）时，输入物理表名必须选择已经存在的物理表。当输入数据结构为具体的模型结构时，填写物理表名，系统会...
表信息确认无误后，将ods_user_info_d表和ods_raw_log_d表分别单击 提交到开发环境 和 提交到生产环境，此操作将根据您的节点配置在开发环境与生产环境对应计算引擎项目中分别创建目标引擎物理表。说明 表结构定义完成后，您需将其提交至...
如果您需要使用他人开发的表，则需要申请该表的权限。本文为您介绍如何申请、续期和交还表权限。前提条件 需在 元数据中心 配置MySQL和Oracle数据库的采集任务才能使用数据源表权限。使用限制 仅Oracle和MySQL类型的数据源表支持申请表权限...
物理表服务单元创建完成后，您可在服务单元页面执行编辑、发布、删除等操作。本文为您介绍如何管理服务单元。权限说明 项目管理员和开发用户支持管理服务单元，包括编辑、发布、删除、转交负责人操作。管理服务单元列表 在Dataphin首页的...
本文为您介绍如何查看项目的资产详情。项目详情入口 在Dataphin首页，单击顶部菜单栏的 治理 资产清单。单击 项目 页签，选择目标项目，单击项目的名称或 操作 列下的 图标，进入对象详情页面。项目详情 编号 描述 ① 概要信息 为您展示...
本文为您介绍如何查看项目的资产详情。项目详情入口 在Dataphin首页，单击顶部菜单栏的 治理 资产清单。单击 项目 页签，选择目标项目，单击项目的名称或 操作 列下的 图标，进入对象详情页面。项目详情 编号 描述 ① 概要信息 为您展示...
如果需要对历史数据进行快照备份或获得超过14天的作业历史，可以从Information_Schema周期性导出数据到本地表或指定项目中，备份更长周期的历史数据。导出数据时，建议显性地选择视图的字段名称，尽量避免使用 INSERT INTO SELECT*FROM ...
项目保护的作用是限制数据流出受保护的项目，场景上与MaxCompute的一些可以跨项目迁移数据的功能产生交集，主要场景如下：create table 其他项目空间的表 as select*from 保护空间的表。insert overwrite table 其他项目空间的表 select*...