离线数据集创建完成后，可在离线数据集列表中进行相关管理操作。本文为您介绍数据集相关的管理操作。在Dataphin顶部菜单栏中，选择 标签 标签工作台。在左侧导航栏中，选择 数据准备 离线数据集。离线数据集 页面分别展示离线数据集列表，...
离线数据集是通过指标映射创建离线标签的前提条件。可以选择表映射、SQL加工以及表单加工的方式对离线数据集进行定义。并通过预定义加工的方式，以便后续的离线标签创建。功能概述 您可根据业务需求创建所需的离线数据集。离线数据集的加工...
离线数据集是通过指标映射创建离线标签的前提条件。可以选择表映射、SQL加工以及表单加工的方式对离线数据集进行定义。并通过预定义加工的方式，以便后续的离线标签创建。功能概述 您可根据业务需求创建所需的离线数据集。离线数据集的加工...
离线数据集、实时数据集 页面分别展示离线数据集列表 和实时数据集列表，列表中包含 数据集名称、加工方式、更新方式、负责人、数据集状态、运行状态、下游标签、最近修改时间 等信息。运行状态：当运行状态为 任务出错 时，可单击运行状态...
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
前提条件 已上线离线数据同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标...
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标，选择 添加子级目录，为根目录添加子目录。在 类目属性设置 对话框，输入类目名称和类目描述，单击 确定。（可选）在左侧导航栏，单击 离线数据同步，将鼠标悬停在新建...
在 离线数据同步 页面，单击 新增任务，在 离线数据同步 管理页面，配置离线同步周期任务。填写基本信息，任务名称“信用卡客户数据上云_全量”。在 源端配置 区域，配置数据源端。参数 说明 示例 数据源 数据来源端的数据源类型以及该类型...
离线数据集成节点赋予任务流进行数据传输的能力，帮助您实现数据源之间的数据同步。本文介绍配置离线数据集成节点的方法。应用场景 离线集成节点主要用于数据迁移、数据传输等场景。功能特性 不限制来源表和目标表数据库类型。支持字段映射...
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标。在 离线数据同步 页面，单击 新增任务。在 离线数据同步 管理 页面，配置离线同步周期任务。填写基本信息，任务名称“信用卡客户数据上云_d”。在 源端配置 区域，选择...
本文以同步MySQL数据源到MaxCompute目标端为例，介绍如何批量新增离线数据同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加离线数据同步任务...
想用AnalyticDB进行离线数据处理？本篇实践教程通过详细的分步指南与代码示例，清晰讲解核心操作流程，助您快速构建并优化数据处理任务。
本文将指导您如何通过SQL加工创建离线数据集。前提条件 创建离线数据集前需先创建数据集所归属的标签项目。更多信息，请参见 创建标签项目。操作步骤 在Dataphin首页，单击顶部菜单栏的 标签 标签工作台。在顶部菜单栏中，选择 项目。在...
本文将指导您如何通过SQL加工创建离线数据集。前提条件 创建离线数据集前需先创建数据集所归属的标签项目。更多信息，请参见 创建标签项目。操作步骤 在Dataphin首页，单击顶部菜单栏的 标签 标签工作台。在顶部菜单栏中，选择 项目。在...
数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据通道）场景特征。周期调度任务（天、小时级别调用）。对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。典型场景。类型 ...
本文将指导您如何通过表单加工创建离线数据集。前提条件 创建离线数据集前需先创建数据集所归属的标签项目。更多信息，请参见 创建标签项目。操作步骤 在Dataphin首页，单击顶部菜单栏的 标签 标签工作台。在顶部菜单栏中，选择 项目。在...
本文将指导您如何通过表单加工创建离线数据集。前提条件 创建离线数据集前需先创建数据集所归属的标签项目。更多信息，请参见 创建标签项目。操作步骤 在Dataphin首页，单击顶部菜单栏的 标签 标签工作台。在顶部菜单栏中，选择 项目。在...
Y Y N Y Y 查看实例详情&日志 Y Y N Y Y 补数据 Y Y N Y Y 回滚到该版本 Y Y N Y Y 删除版本 Y N N N Y 重跑实例 Y Y N Y Y 移除已申请离线标签 Y N N N-离线数据集 新建（保存并发布）&复制离线数据集 Y Y N N-编辑（保存&发布）离线数据...
离线同步实例是由离线数据同步时发起的任务实例，运维监控支持查看离线同步任务实例的详情，包括实例属性、运行日志。本文主要介绍查看离线同步实例的详情。前提条件 已上线离线同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤...
本文将指导您如何通过表映射创建离线数据集。前提条件 创建离线数据集前需先创建数据集所归属的标签项目。更多信息，请参见 创建标签项目。操作步骤 在Dataphin首页，单击顶部菜单栏的 标签 标签工作台。在顶部菜单栏中，选择 项目。在左侧...
本文将指导您如何通过表映射创建离线数据集。前提条件 创建离线数据集前需先创建数据集所归属的标签项目。更多信息，请参见 创建标签项目。操作步骤 在Dataphin首页，单击顶部菜单栏的 标签 标签工作台。在顶部菜单栏中，选择 项目。在左侧...
数据同步支持离线数据同步任务的新建。离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍...
支持的同步类型 单表离线 数据去向为OSS或OSS-HDFS时，支持的数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：数据集成侧同步任务配置 单表实时 数据去向为OSS或OSS-HDFS时，支持的数据来源：Kafka、LogHub 配置指导：数据...
Y Y N Y Y 移除已申请离线标签 Y N N N-离线数据集 新建（保存并发布）&复制离线数据集 Y Y N N-编辑（保存&发布）离线数据集 Y Y N N Y 删除离线数据集 Y N N N Y 查看离线数据集详情 Y Y Y Y Y 查看实例详情&运行日志 Y Y N N Y 下线离线...
在您完成离线数据集的创建或行为关系的定义后，您可为所创建的离线数据集或行为关系创建对应的离线标签，以便后续的资产应用创建。如标签服务、画像服务的创建。功能概述 您可根据业务需求创建所需的离线标签，离线标签的加工方式不同创建...
在您完成离线数据集的创建或行为关系的定义后，您可为所创建的离线数据集或行为关系创建对应的离线标签，以便后续的资产应用创建。如标签服务、画像服务的创建。功能概述 您可根据业务需求创建所需的离线标签，离线标签的加工方式不同创建...
方案亮点：PB级数据量、同时支持在线和离线数据分析。业务挑战 通过对游戏服的用户行为日志进行收集、存储和分析，计算玩家留存率、LTV、ARPU、充值总金额等。游戏运营变化快，需要灵活的Schema。在线用户基数大，日志数据规模大，需要高...
在您完成离线数据集的创建或行为关系的定义后，您可为所创建的离线数据集或行为关系创建对应的离线标签，以便后续的资产应用创建。如标签服务、画像服务的创建。功能概述 您可根据业务需求创建所需的离线标签，离线标签的加工方式不同创建...
本文为您介绍Hive的离线数据迁移到 云数据库 SelectDB 版 的各个方式以及方式选择规则。方式选择 根据不同的业务场景，选择合适您的迁移方式。具体的方式选择可以参考如下规则：方式 适用场景 推荐原因 操作步骤 Catalog 数据存储在阿里云...
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
Dataphin标签支持将离线数据集输出指标直接定义成为标签。本文将指导您如何通过指标映射方式创建离线标签。前提条件 通过指标映射创建离线标签前需创建对应的离线数据集。更多信息，请参见 创建并配置离线数据集。操作步骤 在Dataphin首页...
Dataphin标签支持将离线数据集输出指标直接定义成为标签。本文将指导您如何通过指标映射方式创建离线标签。前提条件 通过指标映射创建离线标签前需创建对应的离线数据集。更多信息，请参见 离线数据集概述。操作步骤 在Dataphin首页，在...
当飞线请求失败时 飞线数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
支持在离线数据同步、实时数据同步任务中引用已添加的数据模板，根据数据模板定义的数据结构执行数据同步任务。离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步...
支持在离线数据同步、实时数据同步任务中引用已添加的数据模板，根据数据模板定义的数据结构执行数据同步任务。离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步...
本文介绍通过DataWorks将MongoDB的离线数据迁移至Lindorm宽表。背景信息 有关大数据开发治理平台DataWorks，具体请参见 什么是DataWorks。注意事项 将MongoDB的离线数据迁移至Lindorm宽表时，需要将MongoDB嵌套的JSON数据展开成水平结构，...
该功能允许用户通过选择目标备份集并创建数据湖，在离线数据湖中使用SQL语句查询不同备份集中的数据。但随着DLA服务的停止，数据灾备（DBS）的备份数据查询功能也将于2024年05月起逐步下线。更多详情，请参见【通知】停止售卖云原生数据湖...
当飞线请求失败时 飞线数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
100 splitInterval:6h mem:Xms6G-Xmx6G 1.5 MB 230000 12分钟30秒 CPU占比为30%2 总时间线数据为600万 总数据点数为2592000000 1 channel:10 oidCache:true oidBatch:100 splitInterval:6h mem:Xms8G-Xmx8G 292 MB 200000 2小时55分钟30秒 ...
数据写入 您可以通过多种模式将数据写入到MaxCompute，介绍如下：离线批量写入（数据通道）：通过多种方式将离线数据批量写入到MaxCompute表，对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。离线数据流式写入（数据通道）：...