Dataphin支持对开发的实时任务代码进行数据采样或者手动上传并进行本地调试,以帮助您保障代码任务的正确性,避免...并根据参数的实际项目(开发或生产项目),确定使用生产元表还是开发元表;若未指定${project_name},则自动抽取生产元表。
问题描述 Dataphin在即席查询中给生产表追加注释提示找不到项目,错误异常如下:问题原因 使用生产项目的表前缀使用项目名称即可,名称后不需要增加prod。解决方案 表名称前缀直接使用项目名称。适用于 Dataphin 当前环境:独立部署v3.6
Dataphin支持对开发的实时任务代码进行数据采样或者手动上传并进行本地调试 或Session集群调试,以帮助您保障代码...并根据参数的实际项目(开发或生产项目),确定使用生产元表还是开发元表;若未指定${project_name},则自动抽取生产元表。
测试实例时系统读取开发表还是生产环境的测试元表,根据元表的配置决定。查看元表配置,请参见 创建及管理元表。元表的开发环境测试时读取参数选中开发表。任务中使用的是 Project_Name_dev.元表名,则读取开发环境测试元表。任务中使用的...
说明 除了RAM用户被指定为调度引擎访问身份(生产项目MaxCompute访问身份)这一场景外,其他场景下,RAM用户被添加为工作空间成员后,默认没有生产环境操作权限,操作及访问生产表需要在 安全中心 进行权限申请,详情请参见:通过新版安全...
测试实例时系统读取开发表还是生产环境的测试元表,根据元表的配置决定。查看元表配置,请参见 新建元表。元表的开发环境测试时读取参数选中开发表。任务中使用的是 Project_Name_dev.元表名,则读取开发环境测试元表。任务中使用的是 ...
标准模式下,支持开发环境和生产环境隔离,开发环境和生产环境的数据库表命名有所区别,如果需要在开发环境访问生产环境的数据库表,请根据以下命名规范严格区分数据库表名,避免误操作生产环境。环境类型 标准模式 示例 开发环境 项目名_...
背景信息 若您需要在DataWorks标准工作空间中访问生产环境的MaxCompute数据源的表数据、资源和函数,则需申请相应的权限。这有助于实现对生产环境资产的安全管理与管控。本文适用于:需要访问生产环境MaxCompute数据源的表数据、资源、函数...
生产数据表 生产环境中源端输入的物理表,在下拉列表中选择。同步模式 当选择 全量,表示全量覆盖同步。当选择 增量,则增量同步。增量字段 当选择 增量 时,需同步选择需要同步的增量字段。自定义条件 过滤条件,例如输入ID 12,表示将ID...
输入表 支持的数据表类型包括:物理表、物理视图、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、逻辑视图。选中范围 全表:以提交发布时对应表的全部字段为准生成血缘关系。说明 血缘仅在配置任务提交和发布成功时更新,后续输入输出...
输入表 支持的数据表类型包括:物理表、物理视图、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、逻辑视图。选中范围 全表:以提交发布时对应表的全部字段为准生成血缘关系。说明 血缘仅在配置任务提交和发布成功时更新,后续输入输出...
提交到生产环境 提交表至DataWorks的生产环境,即在生产环境所添加的MaxCompute计算资源对应的MaxCompute项目中创建当前表。提交成功后,可执行如下操作:查看表结构 在数据开发(DataStudio)开发ODPS SQL任务,通过 desc projectname....
提交到生产环境 提交表至DataWorks的生产环境,即在生产环境所添加的MaxCompute计算资源对应的MaxCompute项目中创建当前表。提交成功后,可执行如下操作:查看表结构 在数据开发(DataStudio)开发ODPS SQL任务,通过 desc projectname....
生产数据表 生产环境中源端输入的物理表,在下拉列表中选择。同步模式 当选择 全量,表示全量覆盖同步。当选择 增量,则增量同步。增量字段 当选择 增量 时,需同步选择需要同步的增量字段。自定义条件 过滤条件,例如输入ID 12,表示将ID...
表数量趋势:查看所选工作空间在指定时间段内的开发表、生产表或所有表的数量变化趋势。表存储分布:查看所选工作空间在指定日期内表的存储情况。表存储趋势:查看所选工作空间在指定时间段内的开发表、生产表或所有表的存储变化趋势。表...
代码示例 开发环境(数据开发、开发环境运维中心)执行代码 生产环境(生产环境运维中心)执行代码 访问开发项目中的开发表:select col1 from projectname_dev.tablename;使用任务执行者个人云账号访问开发表。RAM用户(子账号)执行相关...
推荐原因 对于转交的目标负责人,系统的推荐策略(优先级依此降低):对于生产表,使用有效的开发表的审批负责人,作为生产表的审批负责人。基于产出当前表的任务负责人,推荐表的审批负责人。基于产出生产表的任务负责人,推荐对应开发表...
表权限管控 表操作权限申请 标准模式工作空间下,RAM用户默认无法通过SQL命令直接操作生产表,如果您需要操作生产表或跨账号查询生产表,需要进行权限申请,您可以在表详情页中的 申请权限 入口申请表的相关权限。当您在表详情页单击申请权...
元表是通过数据管理的跨存储类型表,开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。本文为您介绍如何创建及管理元表。功能优势 元表具有以下优势:安全可靠:通过元表可以有效避免直接编写原生Flink DDL语句导致...
生产运维中心执行任务(生产环境执行任务)场景:select col1 from tablename 用调度引擎指定账号访问生产环境下该表。即调度引擎指定账号访问:projectname.tablename。使用E-MapReduce引擎时的权限逻辑说明与权限控制:逻辑说明:当前...
元表是通过数据管理的跨存储类型表,开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。本文为您介绍如何创建及管理元表。功能优势 元表具有以下优势:安全可靠:通过元表可以有效避免直接编写原生Flink DDL语句导致...
维表功能支持您使用可视化的方式创建MaxCompute生产表并导入本地数据,您还可以在表格中直接修改MaxCompute表中的数据。重要 DataWorks不再推荐使用该功能,推荐您使用 数据上传 以获得更完善的能力。前提条件 已在DataWorks工作空间创建...
DataWorks支持查看MaxCompute、AnalyticDB for PostgreSQL、Hologres和EMR公共表(同一租户下的生产表),您可以在公共表页面选择引擎类型和引擎名进行查看。前提条件 如果您需要查看MaxCompute、AnalyticDB for PostgreSQL、Hologres或EMR...
删除生产表:生产表请前往数据地图我的数据中删除表。您可以创建一个ODPS SQL节点,输入并执行DROP语句。创建ODPS SQL节点的详情请参见 开发ODPS SQL任务,删除表的语法格式请参见 表操作。如何将本地数据上传到MaxCompute表中?您可以进入...
若创建数据源时,开发环境与生产环境创建不同的数据源,那么在DataWorks开发环境是否可访问生产环境下的表、资源、函数等,与数据源本身特性有关。标准模式工作空间下,开发环境的任务默认不进行周期调度,仅发布至生产环境后可进行周期...
任务开发上线之后,数据正在稳定生产中,您需要对对应的业务表通过可视化查看、自动的数据质量监控、敏感数据管理等多种不同方式进行治理,而以下这些模块就可以很好的帮助您对数据进行治理。可视化元数据管理 数据地图可以可视化的查看表...
代码示例 开发环境(数据开发、开发环境运维中心)执行代码 生产环境(生产环境运维中心)执行代码 访问开发项目中的开发表:select col1 from projectname_dev.tablename;使用任务执行者个人云账号访问开发表。RAM用户(子账号)执行相关...
若您当前使用的是简单模式工作空间,但希望将开发与生产环境隔离,可将简单模式工作空间升级为标准模式工作空间。本文为您介绍如何升级工作空间模式。操作须知 升级工作空间模式前,您需先了解以下内容:了解简单模式与标准模式工作空间的...
可以通过在多个生产项目创建Package把需要开放的表添加到Package中,在分析项目中安装Package并授权给分析人员,如此可以减少成员管理成本,无需在所有生产项目中添加分析人员,同时保证这些分析人员只能在分析项目中查看部分生产表。...
全部生产项目(Basic及Prod):指所有生产项目下的物理表和物理视图(包括当前已创建和后续新建的所有生产项目)均可开启自动采样。指定项目:选择需开启自动采样的项目,支持多选。逻辑表范围 支持通过数据板块圈选可开启自动采样的逻辑表...
如何对生产表添加字段?如何将本地数据上传到MaxCompute表中?如何在开发环境访问生产环境数据?如何控制表数据查询以后是否可以下载?如何删除表?资源相关 超过30M的资源如何上传?通过odpscmd上传的资源如何在DataWorks上使用?如何在...
1 表示生产表。1 DatabaseName string 数据库的名称。abc IsVisible integer 表的可见性:0 表示目标表对工作空间成员可见。1 表示目标表对租户内成员可见。2 表示目标表对租户间成员均可见。3 表示目标表仅对责任人可见。1 TableGuid ...
异常归档表可区分当前生效的自定义归档表和其他表,支持将其他表一键指定为生效表;支持快捷复制自定义归档表的DDL语句。质量规则列表优化,除了全域表质量规则,其他的质量规则描述信息和中文名每日定时更新;新增规则ID展示,可用于Open...
写入完成后,将原目标表进行重命名({目标表}_dpfx_tmp),目标表重命名后将临时表重命名为目标表;最后删除原目标表({目标表}_dpfx_tmp)。在重命名原目标表完成后到将临时表重命名为目标表完成前,数据将存在短暂不可用时间。前提条件 ...
写入完成后,将原目标表进行重命名({目标表}_dpfx_tmp),目标表重命名后将临时表重命名为目标表;最后删除原目标表({目标表}_dpfx_tmp)。在重命名原目标表完成后到将临时表重命名为目标表完成前,数据将存在短暂不可用时间。前提条件 ...
若没有当前目标表生产环境的写表数据权限,您可以单击 申请权限 进行权限申请。更多信息,请参见 申请、续期和交还表权限。若无对应目标表,选择输入标签后,可以单击 一键建表 创建所需的目标表。在系统生成的建表语句中,请确认表名、...
若没有当前目标表生产环境的写表数据权限,您可以单击 申请权限 进行权限申请。更多信息,请参见 申请、续期和交还表权限。若无对应目标表,选择输入标签后,可以单击 一键建表 创建所需的目标表。在系统生成的建表语句中,请确认表名、...
支持查看数据源表详情,包括数据源表属性、字段列表、血缘&影响、质量概况(仅生产表)等。支持查看DDL语句、生成select语句、反馈质量问题(仅生产表)、导出字段、申请数据源权限等快捷操作。查看资产清单 指标详情 逻辑表和字段详情 ...
DataWorks开放数据为您提供各维度的表或视图,便于您采集元数据。本文为您介绍当前DataWorks开放数据提供的表和视图列表,及其结构明细。MetaData元数据 本套元数据表及示例指标统计表由DataWorks基于当前租户的表、任务、实例、工作空间、...
本文为您介绍如何将MaxCompute分区表数据导入到Hologres分区表。前提条件 已购买并开通Hologres实例,开通方法请参见 购买Hologres。已开通MaxCompute并创建项目,详情请参见 开通MaxCompute和DataWorks。已开通DataWorks服务并创建...