衍生清单：系统通过追溯您已导入表的血缘信息而生成的数据开发任务。其中，“全部任务”模块显示上述全量数据开发任务；“我的任务”则显示需要您开发的数据任务，即您当前登录账号主动领取的或分配给当前账号的任务。全部任务 全部任务...
维度表展示区：维度表分为系统预置维度表与自定义维度表，在展示区可以根据创建人区别系统预置维度表与自定义维度表，系统预置维度表为「网络类型系统维度表」、「设备品牌型号系统维度表」、「流量来源网站系统维度表」、「网络子类型标识...
SubmitFile 提交文件至调度系统开发环境 提交文件至调度系统的开发环境，生成对应的任务。ListBusiness 查询业务流程的列表 调用ListBusiness查询业务流程的列表。GetFileVersion 获取文件的版本详情 调用GetFileVersion获取文件的版本详情...
说明 系统在任务提交时，解析开发环境的表和字段血缘关系；发布时，解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过10万条血缘关系，超过则不予记录，在资产目录中无法展示。影响 分为数据表影响和集成同步影响。数据...
说明 系统在任务提交时，解析开发环境的表和字段血缘关系；发布时，解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过10万条血缘关系，超过则不予记录，在资产目录中无法展示。影响 分为数据表影响和集成同步影响。数据...
说明 创建逻辑表时系统可能自动生成多张物化表，系统将根据生成的第一张物化表获取是否湖表、湖表格式、表存储模式信息。字段信息：包括字段名称（主键用钥匙图标进行标识）、描述、数据类型、关联标准（需购买数据标准模块）、数据分类...
说明中填写的开发完成日期、软件名称（全称+简称）、版本号必须与申请表所填一致。4.提供开发人员的身份证正反面复印件或扫描件（身份证拍照后打印不予采纳会要求再次补正，请勿有拍照痕迹），且开发人员需在复印件上签字。5.一份申请需...
说明 系统在任务提交时，解析开发环境的表和字段血缘关系；发布时，解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过10万条血缘关系，超过则不予记录，在资产目录中无法展示。影响 分为数据表影响和集成同步影响。数据...
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、物化视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持...
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、物化视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持...
宽表模型是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景，单表支持PB级数据存储和千万QPS。本文介绍如何通过控制台使用宽表模型。重要 如需通过命令行工具使用宽表模型，请参见 通过命令行工具使用宽表模型。准备工作 已开通 ...
性能体验模块支持iOS系统符号表的解析功能，如果您需要进行系统层堆栈的解析，请使用我方提供的iOS系统符号表并在页面中进行上传 注：因符号表文件较大，如果您的空间有限，可以先上传近期（我们给您的文件中大版本号的）的符号表文件用于...
尤其是当使用BI工具、开发工具连接时，会自动通过这三张系统表获取Schema list、Table list和Table column的信息，无论该用户是否有表的访问权限，都能通过系统表获取元数据信息。针对该场景，从Hologres V3.0.23版本开始，pg_class、pg_...
Dataphin支持对开发的实时任务代码进行...元表名 或 元表名，系统将自动根据参数中的设置替换${project_name} 变量。并根据参数的实际项目（开发或生产项目），确定使用生产元表还是开发元表；若未指定${project_name}，则自动抽取生产元表。
完成规范建模相关任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析...
完成规范建模相关任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析...
Dataphin支持对开发的实时任务代码进行数据采样或者手动上传并进行本地调试 或Session集群调试，以帮助您保障代码任务的正确性，避免人为错误或遗漏。本文将为您介绍如何调试实时任务。调试方式说明 本地调试方式：即不通过集群进行调试，...
操作步骤 创建分析存储 创建时序表时创建分析存储 创建时序表 时，系统默认已选中创建分析存储选项。为已有时序表创建分析存储 进入 实例管理 页面。登录 表格存储控制台。在页面上方，选择资源组和地域。在 概览 页面，单击实例别名或者...
通过HBase Shell工具统计表行数 使用HBase RowCounter统计表行数 通过Lindorm SQL统计表行数 如果您要粗略查询Lindorm宽表的行数，可以通过Lindorm集群管理系统的 表概览 页面进行查看，详情请参见 通过集群管理系统粗略查看表行数。...
创建及管理Hadoop集群 创建Hadoop计算源 离线集成 当加密/解密组件的加密算法选择SM4时，支持输出目标表为 AnalyticDB for PostgreSQL 表，系统将写入的数据按照 AnalyticDB for PostgreSQL的密钥值自动进行加解密处理。新增性能诊断功能，...
申请、续期和交还表权限 授权与回收表权限 数据源管理 数据源连接测试新增成功有风险状态，该状态下的数据源仅可用于数据服务、数据质量功能，不可用于数据开发和数据集成功能。ElasticSearch数据源新增支持HTTPS连接；支持自签名证书。...
元仓共享模型是基于Dataphin内部的系统元数据表，通过任务加工生成的可以被稳定、标准化访问的开放元数据表，可降低对系统元数据表的依赖，提升系统稳定性。基于开放的元数据信息，您可以结合业务场景进行二次开发，以更好地满足对下游业务...
在您建设明细事实表时，需要选择基于现有的表进行明细层数据的开发，清楚所建表记录存储的是什么粒度的数据。明细粒度事实层（DWD）规范 通常您需要遵照的命名规范为：dwd_{业务板块/pub}_{数据域缩写}_{业务过程缩写}[_{自定义表命名标签...
关联实体：当表类型为维度逻辑表、事实逻辑表时展示在 研发 开发 页面下该逻辑表编辑页面关联维度所配置的关联实体，单击关联实体后的 查看 图标，查看每个关联实体信息，包括角色名称（如买家、卖家角色的名称）、实体名称（编码）、描述...
说明 此处会展示Hive数据源开发环境的表列表和表结构，如果您的Hive数据源开发和生产环境的表定义不同，则可能出现任务在开发环境配置正常但提交生产运行后报错表不存在、列不存在的问题。Parquet Schema 如果Hive表存储格式为Parquet格式...
核心能力 广泛兼容 主流协议支持：兼容Playwright、Puppeteer等主流浏览器自动化协议，保障开发便捷性与业务系统对接一致性。灵活扩展：覆盖无头与有头浏览器模式，支持浏览器插件加载，可适配定制化运行需求。智能操作 智能驱动：支持通过...
DataWorks全新推出了实时数据开发治理功能，通过集成数据治理插件和LSP（Language Server Protocol）技术，在代码保存时可触发智能检测，并提供针对性的修复建议。开发者可以选择一键确认修复，快速解决问题。该功能依托预设的治理规则库和...
标准模式下，支持开发环境和生产环境隔离，开发环境和生产环境的数据库表命名有所区别，如果需要在开发环境访问生产环境的数据库表，请根据以下命名规范严格区分数据库表名，避免误操作生产环境。环境类型 标准模式 示例 开发环境 项目名_...
开发集成 功能 调用方式 创建时序表 通过SDK：Java、Go、Python 通过命令行工具 更新时序表 通过SDK：Java、Go、Python 通过命令行工具 列出时序表 通过SDK：Java、Go、Python 通过命令行工具 查询时序表描述信息 通过SDK：Java、Go、...
离线数据集成（DataWorks+MaxCompute）：平台系统表、产品属性时序表、产品属性快照表和产品事件表数据，可以集成到阿里云大数据开发治理平台（DataWorks）中构建数据仓库，以提升数据应用效率。实时数据集成（Flink）：产品属性时序表和...
数据管理 权限点 项目所有者 空间管理员 数据分析师 开发 运维 部署 访客 安全管理员 模型设计师 数据治理管理员 自己创建的表删除 自己创建的表类目设置 自己收藏的表查看 新建表 自己创建的表取消隐藏 自己创建的表结构变更 自己创建的表...
INSERT INTO 如果您需要将查询结果写入到外部存储系统中的表，从而提供给下游应用程序，则可以使用INSERT INTO语法。STATEMENT SET 如果您需要将查询的结果输出到下游的两到多个外部系统中，则可以使用STATEMENT SET语法。Watermark 如果您...
一般都是一些被软件工程师用于为特定的软件包、软件实例、软件框架、硬件平台、操作系统、文档包等建立应用软件的开发工具的集合。MaxCompute支持 Java SDK 和 Python SDK。授权 项目管理员或者项目Owner可以授予其他角色对MaxCompute中的...
例如同一个kudu服务和Impala等多个存储系统结合使用时，可以将Impala作为表的前缀，用来标识来源数据为Impala，以便和其他存储系统中的表区分。选择 默认资源组，该资源组用于运行与当前数据源相关任务，包括数据库SQL、离线整库迁移、数据...
本文为您介绍如何创建EMR（E-MapReduce）表。背景信息 创建 旧版数据开发：EMR计算资源 后，平台将自动在 数据地图 新建EMR元数据采集器来采集该集群元数据，若您创建EMR计算资源后仍无法在此界面选择到EMR库，请前往数据地图找到该集群的...
系统开始下载软件包。软件下载过程中，如果显示软件更新的说明信息，此时按 Q 键即可退出，并继续下载更新软件。软件下载完成后，在弹出的确认对话框中单击 确定，开始安装更新。说明 根据网络带宽情况，需要等待3~5分钟完成软件下载和安装...
本文以OSS单表离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络连通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
DataWorks支持查看MaxCompute、AnalyticDB for PostgreSQL、Hologres和EMR公共表（同一租户下的生产表），您可以在公共表页面选择引擎类型和引擎名进行查看。前提条件 如果您需要查看MaxCompute、AnalyticDB for PostgreSQL、Hologres或EMR...
异常原因 系统检测到审批负责人异常的可能原因（优先级依此降低）：同时具备生产和开发环境时，生产表的审批负责人与开发表的审批负责人不相同。表（开发环境/生产环境）的审批负责人对应的云账号不复存在。表（开发环境/生产环境）的审批...
背景 在使用系统运维管理（Operation Orchestration Service，简称OOS）的过程中，如果您需要通过命令行界面（CLI）工具或是开发者语言软件开发工具包（SDK）来执行自动化操作，您可以参考执行调用的API文档。操作步骤 登录 系统运维管理...