在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
如离线指标映射标签包括来源数据集、数据集主体、数据集指标、指标值类型、指标描述信息。标签血缘：可以查看标签的血缘链路信息。详情请参见 标签血缘说明。标签血缘说明 在标签详情页面单击 标签血缘 页签，将展示当前标签的 血缘关系图...
数据编辑器是一款支持多种地理数据编辑与管理功能的小工具，本文介绍数据编辑器的详细功能。进入数据编辑器 单击 DataV.GeoAtlas地理小工具系列，打开 数据编辑器 工具页面。界面概述 数据编辑器页面分为三大主要功能面板，分别为 地图面板...
离线数仓加速 离线数据运行在 MaxCompute 等离线数仓上，单天数据增量达到几十GB甚至TB级，需要每天导入数据到 AnalyticDB for MySQL 进行数据加速分析。使用方法 数据导入方式分为常规导入（默认）和弹性导入。常规导入在计算节点中读取源...
解决方案 存在的问题 流式构建T+1时刻的增量数据表，和离线表的T时刻分区数据做合并，生成离线表T+1分区。存储资源浪费。保存离线的基础表，每个业务时刻的增量数据独立保存，在查询数据时合并基础表和增量表。查询性能差。其中按T保留全量...
Data Studio介绍 Data Studio是智能湖仓一体数据开发平台，内置阿里巴巴15年大数据建设方法论，深度适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、PAI等数十种大数据和AI计算服务，为数据仓库、数据湖、OpenLake湖仓一体数据架构...
Data Studio介绍 Data Studio是智能湖仓一体数据开发平台，内置阿里巴巴15年大数据建设方法论，深度适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、PAI等数十种大数据和AI计算服务，为数据仓库、数据湖、OpenLake湖仓一体数据架构...
事实逻辑表的数据时效支持选择 离线T+1（天任务）、离线T+h（小时任务）和 离线T+m（分钟任务）。说明 ArgoDB、StarRocks、SelectDB、Doris计算引擎仅支持离线 T+1（天表）。逻辑表名 填写逻辑表名，表名称总长度需要在100个字符以内。选择...
事实逻辑表的数据时效支持选择 离线T+1（天任务）、离线T+h（小时任务）和 离线T+m（分钟任务）。逻辑表名 填写逻辑表名，表名称总长度需要在100个字符以内。选择业务对象后，系统将自动填充逻辑表名，填充规则为 数据板块名称.fct_业务...
此数据为离线统计，有 T+1延迟。存储量 当前地域下，所有表的逻辑存储大小总和，包含调度任务的临时文件、删除表后尚未释放的存储空间。此数据为离线统计，有 T+1延迟。总API数 当前地域下，已发布至API网关的MaxCompute类型的API总数。...
离线 T+1 批量处理(构建坚实的数据基座)在 DataWorks 数据开发(DataStudio)中，使用 MaxCompute SQL 节点，可以对 TB 甚至 PB 级的海量历史数据进行高效、低成本的批量计算、清洗和建模。强大的 智能调度系统 负责每日凌晨自动执行这些ETL...
浏览次数：统计30天内在数据地图浏览此表详情页的次数，此数据为离线统计，有 T+1 的延迟。读取次数：统计近30天内生产环境发起的读取MaxCompute表的任务计数，读取表的任务类型包括但不限于SQL、Tunnel Download、数据集成、API数据服务等...
离线数据集创建完成后，可在离线数据集列表中进行相关管理操作。本文为您介绍数据集相关的管理操作。在Dataphin顶部菜单栏中，选择 标签 标签工作台。在左侧导航栏中，选择 数据准备 离线数据集。离线数据集 页面分别展示离线数据集列表，...
离线/实时 数据集创建完成后，可在离线/实时 数据集列表中进行相关管理操作。本文为您介绍数据集相关的管理操作。在Dataphin顶部菜单栏中，选择 标签 标签工作台。在左侧导航栏中，选择 数据准备 离线数据集 或 实时数据集。离线数据集、...
支持对 运行中 的离线服务进行补数据，默认补T-1的数据，确保离线服务新建后可立即执行。支持任务自动分类，任务管理更友好：支持按照任务的归属对象以及任务目的自动进行分类。当目录下任务数超出设定阈值后系统将自动扩展目录。标签码表...
使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据延迟。当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 在Dataphin首页，单击顶部菜单栏 研发-数据...
使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据延迟。当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 在Dataphin首页，单击顶部菜单栏 研发-数据...
可以将面数据列或线数据列的类型定义为以下几种：面数据列的类型定义为GEOMETRY（POLYGON）。CREATE TABLE test_table1(id INT,g GEOMETRY(POLYGON),name VARCHAR,t LONG,PRIMARY KEY(id));面数据列的类型定义为GEOMETRY（MULTIPOLYGON）。...
运行周期 如果数据研发的场景是在常见T+1离线计算场景，则应将不同调度任务按照实际业务需求，赋予小时、日、周、月和季度等不同的调度粒度。说明 程序必须支持重跑。如果SQL语句优化后，单次执行仍超过30分钟，建议拆表重新设计，建议每个...
数据管理DMS 的资产大盘功能支持T+1离线汇总当前 DMS 租户下的所有实例、数据库、表数据，并图形化展示数据资产的引擎、环境、地域、来源、类目的分布占比及数量趋势。本文介绍如何使用DMS的资产大盘。注意事项 DMS 资产大盘的 表分布占比 ...
用户可快速查看POI或者轨迹点在不同区域的密集程度，以此确定不同区域的繁忙程度，效果图如下所示：可视化道路、航道线 在出行应用场景中，道路和航运公司的航道线主要是以Geometry Linestring的形式保存在数据库中。通过矢量金字塔，用户...
用户可快速查看POI或者轨迹点在不同区域的密集程度，以此确定不同区域的繁忙程度，效果图如下所示：可视化道路、航道线 在出行应用场景中，道路和航运公司的航道线主要是以Geometry Linestring的形式保存在数据库中。通过矢量金字塔，用户...
Doris 版本 是否支持 0.x.x 支持 1.1.x 支持 1.2.x 支持 2.x 支持 使用限制 数据集成仅支持离线写入Doris。支持的字段类型 不同Doris版本支持不同的数据类型和聚合模型。各版本Doris的全量字段类型请参见 Doris的官方文档，下面为您介绍...
典型应用场景 基于线上数据的开发测试（Dev或Ops）测试和预发布需要基于线上存量数据验证，但又必须保护线上数据不被污染。沙箱功能可以快速提供历史全量数据副本，同时满足快速测试迭代和数据可靠性保障需求。在线应急容灾 基于沙箱的备份...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 整库离线 支持数据来源：MySQL 配置指导：数据集成侧同步任务配置 配置案例 MySQL整库离线同步至Hive
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
修改InnoDB表 t 的数据，修改完数据之后，再次将InnoDB引擎中的表 t 归档至OSS。示例如下：ALTER TABLE t ENGINE=CSV CONNECTION='default_oss_server';或 ALTER TABLE t ENGINE=CSV STORAGE OSS;分区表 语法 ALTER TABLE table_name ...
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：Kafka 配置指导：数据集成侧同步任务配置 整库离线 支持数据来源：MySQL 配置指导：数据集成侧同步...
轨迹线层 子组件拥有交互配置，可单击某个线或鼠标移入到线时，触发数据请求，抛出回调值，实现在单击或鼠标移入到线时，动态加载不同线的数据。默认抛出所单击区域的 id 值，具体配置请参见 如何配置数字翻牌器组件的回调ID。蓝图编辑器...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：DataHub、Kafka、LogHub、MySQL、PolarDB 配置指导：配置单表实时同步任务 整库离线 支持数据来源：...
背景信息 您可以通过DataWorks，将支持的各种数据源数据离线同步至 云数据库ClickHouse。离线同步支持的数据源类型，具体请参见 支持的数据源与读写插件。前提条件 已创建工作空间，引擎服务选择为MaxCompute。如何创建，请参见 创建工作...
通过离线单条管道构建同步任务 离线的数据管道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据输入组件、数据输出组件及流程和转换组件，并基于此框架设计一套简化版的中间数据传输格式，从而实现数据源之间数据传输。数据...
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：DataHub、Hologres、Kafka、LogHub 配置指导：数据集成侧同步任务配置 整库离线 支持数据来源：...
高级面板 打开开关，开启组件交互功能，可单击某条线或鼠标移入线上时，触发数据请求，抛出临时变量，实现在单击或鼠标移入到线时，动态加载不同线的数据。默认抛出所单击区域的 id 值，具体配置请参见 组件交互配置。蓝图交互 单击页面...
分库分表同步至MaxCompute解决方案是一种基于Binlog实时同步、T+1合并生成离线表的实时同步解决方案。实时同步数据写入Log表中，Base表每一个天分区存储全量数据。然后每天运行合并任务合并前一天的Base表分区、Log表实时数据，产出新的全...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：Hologres 配置指导：数据集成侧同步任务配置 整库实时 支持数据来源：MySQL、PostgreSQL 配置指导：...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：DataHub、Kafka、LogHub 配置指导：数据集成侧同步任务配置 整库离线 支持数据来源：Amazon ...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：DataHub、Hologres 配置指导：数据集成侧同步任务配置 整库实时 支持数据来源：MySQL、Oracle、...