Y Y N Y Y 移除已申请离线标签 Y N N N-离线数据集 新建（保存并发布）&复制离线数据集 Y Y N N-编辑（保存&发布）离线数据集 Y Y N N Y 删除离线数据集 Y N N N Y 查看离线数据集详情 Y Y Y Y Y 查看实例详情&运行日志 Y Y N N Y 下线离线...
本教程以MySQL数据源中的用户基本信息 ods_user_info_d 表和HttpFile中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至私有OSS中，再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据...
本教程以MySQL数据源中的用户基本信息 ods_user_info_d 表和HttpFile中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至私有OSS中，再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据...
后续：离线同步数据质量问题与同步任务调优 离线同步提速或限速 离线同步数据质量排查 离线同步日志分析 离线同步任务运维常见问题 如果离线同步传输数据时，脏数据超出限制，是否所有数据都不会同步？如何排查离线同步任务运行时间长的...
本文详细介绍DataWorks 的应用场景：如何构建离线与实时一体化的企业级智能云数仓，打破数据时效性壁垒，加速业务决策。构建离线实时一体化企业级智能云数仓 业务挑战 在数字化竞争日益激烈的今天，企业对数据时效性的要求越来越高，但传统...
实时物化视图 差异 数据湖 Spark离线处理 查询性能的智能诊断与调优 RAG应用 时空分析 应用场景 共同点 实时数仓 实时日志分析 商业智能报表 差异 精准营销 多源联合分析 大数据存储分析 离线数据加速 其它数据湖或数据仓库业务迁移...
线热力层是基础平面地图的子组件，支持独立的样式、数据和交互配置，能够以热力线的形式表现地理位置上的线路信息，适用于地图上线路图的大屏展示，例如展示地铁线路图。本文介绍线热力层各配置项的含义。重要 当前为v1.x版本的线热力层子...
当飞线请求失败时 飞线数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
线热力层是基础平面地图的子组件，支持独立的样式、数据和交互配置，能够以热力线的形式表现地理位置上的线路信息，适用于地图上线路图的大屏展示，例如展示地铁线路图。本文介绍线热力层各配置项的含义。重要 当前为v2.x版本的线热力层子...
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
OD飞线是三维城市构建器的图层，支持独立的样式和数据配置，能够以飞线的形式表现地理位置上两个点之间的OD数据，可以用来展示两地之间的关联信息，如物流、交易等。本文介绍OD飞线各配置项的含义。在场景编辑器左侧图层列表中，单击 OD飞...
数据写入 您可以通过多种模式将数据写入到MaxCompute，介绍如下：离线批量写入（数据通道）：通过多种方式将离线数据批量写入到MaxCompute表，对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。离线数据流式写入（数据通道）：...
事件 事件 说明 当飞线请求完成时 飞线数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。动作 动作 说明 请求飞线 重新...
name 可选，动态轨迹线名称 数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置...
注意事项 将MongoDB的离线数据迁移至Lindorm宽表时，需要将MongoDB嵌套的JSON数据展开成水平结构，并且不涉及数据的变换。说明 如果迁移过程中需要对某些数据进行处理，例如对MongoDB数据中主键进行MD5散列，需要按照如下步骤操作：通过...
读/写-TSDB数据源 写-Vertica数据源 读/写-TOS数据源 读-常见业务场景 MySQL整库实时同步至AnalyticDB for MySQL 3.0 Kafka单表实时同步至ApsaraDB for OceanBase MySQL整库实时同步至ApsaraDB for OceanBase MaxCompute单表离线同步至...
该图元的主要特征：一条弧线对应一个线数据，且线仅包含两个点，对应起点和终点。线具有流动动画，且具有方向性，动画配置项中的速度的正负可控制方向。飞线线型有“矢量”和“贴图”两种，“矢量”型由基线叠加高亮线组成，无需贴图；...
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如MySQL、...
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如MySQL、...
版本适用场景 智能研发版（离线&实时）：支持离线研发和实时研发场景，可创建生产开发隔离的双环境项目，提供智能建模、逻辑运维等特色功能，适用于数据量丰富、权限管控严格、具备专业大数据开发团队的企业用户。购买数量 仅阿里云账号...
管控项 智能研发版、基础研发版 试用版（免费）：离线标签10个、离线数据集、行为关系、标签市场、标签离线服务、应用管理 基础版：离线标签50个、离线数据集、行为关系、标签市场、标签离线服务、应用管理 标准版：离线标签、离线数据集、...
数据建设：数据建设支持离线代码研发、实时代码研发、智能建模研发、流批一体研发等多种研发方式，其中首创的智能建模研发模式通过设计即开发的数据模型设计+自动化代码开发提供高效地数据研发生产力。资产治理：资产管理通过数据标准、...
void deleteMeta(String metric,Map String,String tags)，删除时间线及时间线相关的所有数据。详情请参见 删除时间线。void deleteMeta(Timeline timeline)，删除时间线及时间线相关的所有数据。详情请参见 删除时间线。List TagResult ...
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
DataWorks 内置了开箱即用的公共数据集数据源，帮助您零配置快速体验单表离线数据同步。本文为您介绍DataWorks的公共数据集数据同步能力支持情况。支持的数据集详情及地域 支持的公共数据集列表以及数据集的详情参见 DataWorks Gallery 云...
任务监控与定位处理 数据建模：智能数据建模 智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台...
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
以下是几种典型的组合模式：组合模式一：离线数仓构建 这是最经典、最基础的组合，适用于构建企业级数据仓库，进行周期性的批量数据处理和商业智能（BI）分析。核心目标：建立稳定、可靠、可追溯的离线数据仓库体系。模块组合：实现方式：...
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
开启 跳过点和线 会忽略选中的点和线数据。几何差集：选中两个及以上 面类型要素 后单击 图标执行面数据差集计算操作。开启 跳过点和线 会忽略选中的点和线数据。要素处理工具集 要素处理工具集包括 要素打散、要素剪裁、要素简化、面内...
迁移完成后，飞天大数据平台覆盖数据采集 存储&计算 实时/离线分析等游戏数据运营全链路。游戏行业：37手游重构数据体系建设 客户简介 37手游致力于手机游戏发行业务，在中国内地地区，存在近10%的市场占有率。迄今为止，成功发行二十余款...
新增支持Amazon Redshift、Amazon RDS for PostgreSQL/MySQL/SQL Serve/Oracle/DB2数据源，可用于离线集成、元数据采集、全域表质量规则/数据源监控规则创建、API开发（Redshift、DB2数据源暂不支持数据服务）。直连数据源异步模式创建API...
各数据源血缘展示情况说明 数据源 数据集成 数据开发 表级血缘 字段级血缘 表级血缘 字段级血缘 AnalyticDB MySQL 详情页 详情页-血缘信息 离线同步 实时同步 离线同步 实时同步 insert into/insert overwrite table create as select from...
DTS将于2021年12月01日下线 PolarDB-X 1.0 数据订阅（旧版）任务的创建和配置功能。为避免业务受到影响，建议您使用 PolarDB-X 1.0 数据订阅（新版）任务。内容 2021年12月01日，DTS将下线 PolarDB-X 1.0 数据订阅（旧版）任务的创建和配置...
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。背景信息 MySQL是一款领先的开源关系型...
自建数据库 OTHER：有公网IP的自建数据库。ECS：ECS上的自建数据库。EXPRESS：通过专线接入的自建数据库。CEN：通过云企业网CEN接入的自建数据库。DG：通过数据库网关接入的自建数据库。说明 如源实例为PolarDB PostgreSQL版（兼容Oracle）...
因为 VPC 内自建数据库实例对应的 VPC 可能在 ECS 平台进行访问限制，而作为数据迁移或数据同步的数据源，需要被数据传输服务器 IP 访问。复制 VPC ID。实例类型为 VPC 内自建数据库 时，在 VPC 下拉列表中选择目标 VPC 后，单击右侧的复制...
背景信息 MySQL 数据源的实例类型包括 RDS 实例、PolarDB 实例、VPC 内自建数据库 和 公网 IP 自建数据库。公网 IP 是数据传输服务的公网出口，仅访问公网数据源时，需要添加白名单。使用其它类型的数据源时，无需添加公网服务的白名单。...
为确保数据库访问的安全性，阿里云数据库相关产品通常情况存在IP白名单访问限制。若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。下表...