为您指定的业务数据库中安装插件。安装扩展 CREATE EXTENSION IF NOT EXISTS polar_constraint;语法参考 添加约束 禁用状态：添加约束时，会扫描表中的全部存量数据，确保它们都符合约束规则。ALTER TABLE table_name ADD CONSTRAINT ...
周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的...
代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度...
代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度...
拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据。本文将为您介绍如何新建补数据任务。操作步骤 在Dataphin首页的顶部菜单栏，选择 研发 任务运维。在左侧导航栏选择 任务...
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据。本文将为您介绍如何新建补数据任务。操作步骤 在Dataphin首页的顶部菜单栏，选择 研发 任务运维。在左侧导航栏选择 任务...
重要 执行全量补数据前，需要确认补数据的业务日期，是否可能和正在运行或者即将运行的Merge任务实例产生冲突（同时运行时，如果业务日期相同，分区数据或者表数据可能会相互覆盖）。您可以在DataWorks 运维中心 的 查看周期实例 页面查看...
业务描述 企业案例有四个业务同时使用物联网平台数据：企业信息部门需要分析1年范围的设备时序数据，产出设备增长、活跃的企业经营指标。业务部门需要查询近3天左右数据，用于分析设备启停周期的业务应用。企业风控部门需要追踪设备近6个月...
业务数据包括：存储于MySQL中的用户基本信息（ods_user_info_d），平台默认提供，无需开通，将访问信息以添加数据源的方式配置到您的空间即可在您空间下访问这份数据。存储于OSS中的网站访问日志数据（user_log.txt），平台默认提供，无需...
优先级降级策略：为保障核心业务，平台会根据补数据的业务日期，对任务优先级进行动态调整：补昨日(T-1)数据：任务优先级 保持不变，由其所属基线的优先级决定。补历史(T-2及更早)数据：任务将 自动降级，规则如下：原 7级、8级→降至 3级 ...
解决方案 物联网平台业务链路设计方案 设备数据安全解决方案 设备消息收发解决方案 消息保序递交解决方案 其他阿里云物联网服务 云产品 说明 IoT设备身份认证 面向物联网的设备身份认证服务，提供设备与物联网平台云端的双向身份认证和链路...
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
数据域：数据域则是跨业务的主题聚合，通常是根据业务类别、数据来源、数据用途等多个维度，对企业的业务数据进行的区域划分。一个数据域可以归属多个业务分类，比如交易域可能同时服务于线上和线下的交易场景。业务过程：数据域下的具体...
该组件提供了一个安全的基于传输控制协议（Transmission Control Protocol，简称 TCP）和安全套接层（Secure Sockets Layer，简称 SSL）的数据通道，能够及时、准确、有序地将服务器端的业务数据主动地同步（SYNC）到客户端 App。...
通常是根据业务类别、数据来源、数据用途等多个维度，对企业的业务数据进行的区域划分。一个数据域可以归属多个业务分类，比如交易域可能同时服务于电商和金融业务分类下的交易场景。业务过程：数据域下的具体业务活动，比如交易域下有如下...
业务数据看板：统计与展示日常业务数据，协助业务负责人掌握进度与健康状况。企业形象展示：应用于展厅和办公楼入口，展示企业实力与业绩，提升品牌形象。核心功能 数据接入与准备 多源数据接入：支持阿里云及各类开源数据源，提供丰富的...
结合业务划分设计业务域，可以方便业务快速筛选数据。新建业务域后，通过选择业务域，可以快速找到不同业务域中的维度和指标信息。本文介绍如何新建业务域。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部...
通过新建业务应用，创建数据模型支撑的应用系统信息，将数据模型和所属应用属性进行关联，便于从应用系统维度对数据模型进行分类管理。本文介绍如何新建业务应用。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。...
数据同步：通过DataWorks的数据集成模块，创建离线同步任务，将业务数据同步至大数据计算平台（如MaxCompute）。数据清洗：在DataWorks的数据开发模块中，对业务数据进行处理、分析和挖掘。数据展示：在DataWorks的数据分析模块中，将分析...
在实际使用中，请根据实际业务数据所在位置确定开通地域：如果您的业务数据位于阿里云的其他云服务，请选择与其相同的地域。如果您的业务在本地，需要通过公网访问，请选择与您实际地理位置较近的地域，以降低访问延迟。本文以 华东2（上海...
此环节涵盖 数仓规划、数据标准 定义、维度建模（如设计维度表和事实表）以及核心业务 数据指标 的定义。数据处理加工：在 数据开发 的WebIDE或Notebook中编写代码（如SQL、Python），通过工作流编排将独立的任务节点组织成有向无环图（DAG...
维度建模 DataWorks的数据建模理念遵循维度建模思想，使用DataWorks的维度建模功能进行数据仓库建模设计时：维度表 结合业务的数据域的规划，提取出各业务数据域中进行数据分析时可能存在的维度，并将维度及其属性通过维度表的方式存储下来...
维度建模 DataWorks的数据建模理念遵循维度建模思想，使用DataWorks的维度建模功能进行数据仓库建模设计时：维度表 结合业务的数据域的规划，提取出各业务数据域中进行数据分析时可能存在的维度，并将维度及其属性通过维度表的方式存储下来...
例如，业务需要将RDS MySQL与DataWorks连通进行数据同步，则在 数据调度&数据集成 下查看对应的 专有网络 和 交换机 信息。步骤二：网络打通 跨账号的VPC连通需要使用网络连通工具实现，您可以按需选择：云企业网：适用于企业复杂网络环境...
计算下推 与传统时空中间件技术方案不同的是，Ganos 支持将业务关键计算下推数据库平台中，让计算离数据更近，可以充分利用数据库各项处理能力实现数据本地高效计算，不但能降低因大量中间结果数据网络传输导致的IO延迟，也能简化业务逻辑...
计算下推 与传统时空中间件技术方案不同的是，Ganos 支持将业务关键计算下推数据库平台中，让计算离数据更近，可以充分利用数据库各项处理能力实现数据本地高效计算，不但能降低因大量中间结果数据网络传输导致的IO延迟，也能简化业务逻辑...
且在实际业务数据处理场景中，涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统。为了方便您将数据写入Delta Table，MaxCompute深度定制开发了开源的 Flink Connector工具，联合DataWorks数据集成以及其他数据导入...
业务交换机 可用区E、F 部署ECS或者部署安全性要求很高的数据库服务，作为私网环境，既无指向NAT网关和IPv4网关的路由，同时不会被公网SLB挂载，无公网访问能力。TR交换机 可用区E、F VPC通过使用TR交换机和其他VPC/VBR通信，需要配置...
说明 本教程以 华东2（上海）为例，在实际使用中，请根据实际业务数据所在位置确定开通地域：如果您的业务数据位于阿里云的其他云服务，请选择与其相同的地域。如果您的业务在本地，需要通过公网访问，请选择与您实际地理位置较近的地域，...
行业趋势 数据库系统至关重要 数据库与操作系统、中间件并称为系统软件的三驾马车，是企业IT系统不可或缺的组件，也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台。数据库系统是一切应用软件的数据处理及交换核心，是所有...
DataV 添加 OceanBase for MySQL 数据源的详细操作，请参见：什么是DataV数据可视化 配置数据库白名单 添加OceanBase for MySQL数据源 Quick BI 数据分析与展现 Quick BI 是一款全场景数据消费式的BI平台，秉承全场景消费数据，让业务决策...
使用数据资源平台时，需先购买并登录数据资源平台。本文为介绍如何购买及登录数据资源平台。前提条件 已创建阿里云账号，具体操作，请参见 创建阿里云账号。背景信息 数据资源平台账号登录体系与阿里云保持一致。购买数据资源平台 在数据...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建EMR Hive外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据...
二、数据开发与运维 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向Lindorm的一站式数据生态服务。更多信息，请参见 LTS（原BDS）服务介绍。M MaxCompute 大数据计算...
本案例提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。本案例使用 数据开发（DataStudio）（旧版）进行数据加工。EMR环境准备 创建EMR集群 本教程需要您创建一个EMR集群，用于集成到...
FeatureStore 支持配置离线数据源和在线数据源两种数据源。对于每天计算得到的离线特征数据，可以放到离线数据源中；对于线上服务需要使用的离线特征和实时特征数据，可以放到在线数据源中。您需要先配置好离线和在线数据源，以便在后续...
本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。本教程使用 数据开发（Data Studio）（新版）进行数据加工。EMR环境准备 本教程需要您创建一个EMR集群并集成到DataWorks，以便在...
业务链路 支持以业务数据链路为视角进行监控，可查看当前业务链路中节点的运行情况、告警信息。监控明细 支持查看任务节点监控结果，可细节掌握每个监控节点的最新状态、任务日志和历史状态分布情况。支持查看监控任务节点的最近一次告警...