Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如MySQL、...
Dataphin标签支持将离线数据集输出指标直接定义成为标签。本文将指导您如何通过指标映射方式创建离线标签。前提条件 通过指标映射创建离线标签前需创建对应的离线数据集。更多信息，请参见 创建并配置离线数据集。操作步骤 在Dataphin首页...
Dataphin标签支持将离线数据集输出指标直接定义成为标签。本文将指导您如何通过指标映射方式创建离线标签。前提条件 通过指标映射创建离线标签前需创建对应的离线数据集。更多信息，请参见 离线数据集概述。操作步骤 在Dataphin首页，在...
数据同步提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、超图等...
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、...
该功能允许用户通过选择目标备份集并创建数据湖，在离线数据湖中使用SQL语句查询不同备份集中的数据。但随着DLA服务的停止，数据灾备（DBS）的备份数据查询功能也将于2024年05月起逐步下线。更多详情，请参见【通知】停止售卖云原生数据湖...
注意事项 将MongoDB的离线数据迁移至Lindorm宽表时，需要将MongoDB嵌套的JSON数据展开成水平结构，并且不涉及数据的变换。说明 如果迁移过程中需要对某些数据进行处理，例如对MongoDB数据中主键进行MD5散列，需要按照如下步骤操作：通过...
数据导入方式 数据导入方式 数据写入分类 每日数据增量 每日新行数 任务数 实时写入（Flink）实时数据 10 GB 1 亿行 80 Kafka+Routine 实时数据 10 GB 1 亿行 20 离线导入（Spark Connector、DataX）离线数据 10 GB 1 亿行 120 物化视图...
name 可选，动态轨迹线名称 数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置...
配置DTS数据迁移节点 配置离线数据集成节点 数据开发 显示任务流中的数据开发节点：除数据集成节点之外的其他节点。数据开发节点，试运行和发布后的调度功能相同。任务类型介绍 配置DTS位点检查节点 表 数仓表可被其任务流引用并操作，您...
事件 事件 说明 当飞线请求完成时 飞线数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。动作 动作 说明 请求飞线 重新...
配置DTS数据迁移节点 离线数据集成 用于数据迁移、数据传输等场景，实现数据源之间的数据同步。配置离线数据集成节点 数据加工 单实例SQL 将SQL语句发放到指定的关系型数据库上并执行。说明 如果目标实例已开启无锁结构变更，单实例SQL任务...
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
支持的数据库部署位置 有公网IP的自建数据库 无公网IP:Port的数据库（通过数据库网关DG接入）通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能...
线热力层是基础平面地图的子组件，支持独立的样式、数据和交互配置，能够以热力线的形式表现地理位置上的线路信息，适用于地图上线路图的大屏展示，例如展示地铁线路图。本文介绍线热力层各配置项的含义。重要 当前为v1.x版本的线热力层子...
实时物化视图 差异 数据湖 Spark离线处理 查询性能的智能诊断与调优 RAG应用 时空分析 应用场景 共同点 实时数仓 实时日志分析 商业智能报表 差异 精准营销 多源联合分析 大数据存储分析 离线数据加速 其它数据湖或数据仓库业务迁移...
线热力层是基础平面地图的子组件，支持独立的样式、数据和交互配置，能够以热力线的形式表现地理位置上的线路信息，适用于地图上线路图的大屏展示，例如展示地铁线路图。本文介绍线热力层各配置项的含义。重要 当前为v2.x版本的线热力层子...
本教程以MySQL数据源中的用户基本信息 ods_user_info_d 表和HttpFile中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至私有OSS中，再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据...
本教程以MySQL数据源中的用户基本信息 ods_user_info_d 表和HttpFile中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至私有OSS中，再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据...
void deleteMeta(String metric,Map String,String tags)，删除时间线及时间线相关的所有数据。详情请参见 删除时间线。void deleteMeta(Timeline timeline)，删除时间线及时间线相关的所有数据。详情请参见 删除时间线。List TagResult ...
全局：包括统计周期、全局变量、公共日历、离线调度模板、数据板块、计算源、项目、数据源、对象属性、识别特征。数据架构：包括主题域、业务对象、业务活动。研发：包括离线管道、事实逻辑表、维度逻辑表、业务限定、原子指标、派生指标、...
全局：包括统计周期、全局变量、公共日历、离线调度模板、数据板块、计算源、项目、数据源、对象属性、识别特征。数据架构：包括主题域、业务对象、业务活动。研发：包括离线管道、事实逻辑表、维度逻辑表、业务限定、原子指标、派生指标、...
对此，波克城市基于 AnalyticDB for MySQL 构建新一代游戏数据运营分析平台，助力业务高效运营。产品方案 基于 AnalyticDB for MySQL 构建新一代游戏数据运营分析平台：分时弹性：根据业务的波峰波谷，自动对资源进行扩缩容。高性能分析：...
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器，复杂查询免调优。MPP多节点全并行计算，PB级数据...
DataWorks 内置了开箱即用的公共数据集数据源，帮助您零配置快速体验单表离线数据同步。本文为您介绍DataWorks的公共数据集数据同步能力支持情况。支持的数据集详情及地域 支持的公共数据集列表以及数据集的详情参见 DataWorks Gallery 云...
数据集成：支持常见数据源的实时、离线数据集成，数据集成过程中支持灵活自定义数据的处理逻辑，帮助解决企业数据孤岛的痛点。简单易用：提供覆盖数据全生命周期的数据流转及处理能力。通过提供图形化、向导式的开发模式，智能预警及自主...
通过用户行为分析帮助某SLG游戏提升出海效率 背景 某游戏公司客户特别重视广告买量和用户运营方面的数据建设和 算法优化，百分点位 的算法效果提升带来的业务收益便足以覆盖IT资源支出。由于该游戏海外的用户属性较少，该游戏公司利用我们...
ODS：数据运营层，对源数据进行ETL处理。在实际业务中，ODS层会从数据源抽取数据。为了确保新用户能够轻松完成入门教程，本教程中将向ODS层写入测试数据。DWD：数据明细层，对ODS层数据进行清洗、过滤等处理。本教程以过滤为例。ADS：数据...
聚合（Aggregation）：当同一个度量（Metric）的查询有多条时间线产生（多个指标采集设备），那么为了将空间的多维数据展现为成同一条时间线，需要进行合并计算，例如，当选定了某个城市某个城区的污染指数时，通常将各个环境监测点的指标...
计算源 数据源 支持创建离线数据源和实时数据源，通过数据源将业务数据引入Dataphin平台。数据源 业务板块 创建业务板块时，支持设定板块管理员，帮助您更好地管理业务板块。业务板块 发布管理 新增数据集成、实时计算任务的发布管理。管理...
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
读/写-TSDB数据源 写-Vertica数据源 读/写-TOS数据源 读-常见业务场景 MySQL整库实时同步至AnalyticDB for MySQL 3.0 Kafka单表实时同步至ApsaraDB for OceanBase MySQL整库实时同步至ApsaraDB for OceanBase MaxCompute单表离线同步至...
数据源描述 DataWorks案例体验专用数据源，在离线同步配置时读取该数据源即可访问平台提供的测试数据，该数据源只支持数据集成场景读取，其他模块不支持使用。配置模式 选择 连接串模式。连接地址 主机地址IP：rm-bp1z69dodhh85z9qa.mysql....
数据源描述 DataWorks案例体验专用数据源，在离线同步配置时读取该数据源即可访问平台提供的测试数据，该数据源只支持数据集成场景读取，其他模块不支持使用。配置模式 选择 连接串模式。连接地址 主机地址IP：rm-bp1z69dodhh85z9qa.mysql....
数据编辑器是一款支持多种地理数据编辑与管理功能的小工具，本文介绍数据编辑器的详细功能。进入数据编辑器 单击 DataV.GeoAtlas地理小工具系列，打开 数据编辑器 工具页面。界面概述 数据编辑器页面分为三大主要功能面板，分别为 地图面板...
该图元的主要特征：一条弧线对应一个线数据，且线仅包含两个点，对应起点和终点。线具有流动动画，且具有方向性，动画配置项中的速度的正负可控制方向。飞线线型有“矢量”和“贴图”两种，“矢量”型由基线叠加高亮线组成，无需贴图；...
Notebook可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有工具可以替您...
各数据源血缘展示情况说明 数据源 数据集成 数据开发 表级血缘 字段级血缘 表级血缘 字段级血缘 AnalyticDB MySQL 详情页 详情页-血缘信息 离线同步 实时同步 离线同步 实时同步 insert into/insert overwrite table create as select from...
如离线指标映射标签包括来源数据集、数据集主体、数据集指标、指标值类型、指标描述信息。标签测试：开启了在线服务的离线标签和实时标签可以通过输入主键值方式，测试标签主键值的计算结果。说明 标签测试将使用标签在线服务，数据传输到...