您可以使用物联网平台提供的离线数据存储功能，查看您设备基本情况和上报的设备物模型数据。离线数据包括平台系统表、时序表、快照表和自定义存储表。本文介绍不同类型存储表的基本功能和应用场景。前提条件 已备份数据，具体操作，请参见 ...
对离线存储中较为久远的数据暂无数据分析需求时，可以通过配置数据归档，来降低数据的存储成本。本文介绍数据归档的使用和计费说明及开启、更改和撤销归档的具体操作。前提条件 已开启产品数据备份。存储数据的归档周期必须小于实例下设备...
相比现有基于大数据平台的历史数据离线分析方案，DBS沙箱功能提供原始数据库SQL接口，不需要开发人员编写离线分析脚本，并由于使用快照存储机制，存储成本也更低。费用说明 更多信息，请参见 DBS沙箱费用。相关操作 RDS MySQL应急恢复 自建...
离线数据集是通过指标映射创建离线标签的前提条件。可以选择表映射、SQL加工以及表单加工的方式对离线数据集进行定义。并通过预定义加工的方式，以便后续的离线标签创建。功能概述 您可根据业务需求创建所需的离线数据集。离线数据集的加工...
存储类型 热存储 热存储是一种可扩展、高可用的数据存储方案，用于存储经常被访问的数据。日志服务支持将数据从标准存储转移到热存储中，以便您在需要时快速访问和检索数据。支持数据实时访问，提供高性能的日志查询和分析功能，适用于数据...
在您完成离线数据集的创建或行为关系的定义后，您可为所创建的离线数据集或行为关系创建对应的离线标签，以便后续的资产应用创建。如标签服务、画像服务的创建。功能概述 您可根据业务需求创建所需的离线标签，离线标签的加工方式不同创建...
前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据同步任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工...
前提条件 已上线离线数据同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标...
前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据同步任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。...
前提条件 已上线离线数据同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，将...
标签工厂 版本 管控项 智能研发版（离线&实时）、基础研发版（离线&实时）试用版（免费）：离线标签10个、离线数据集、行为关系、标签市场、标签离线服务、应用管理 基础版：离线标签50个、离线数据集、行为关系、标签市场、标签离线服务、...
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线同步周期任务。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在工作组中...
后续：离线同步数据质量问题与同步任务调优 离线同步任务调优 离线同步数据质量排查 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何排查离...
Dataphin标签基于离线计算引擎，支持通过表映射方式将物理表字段直接定义成为数据集指标。本文将指导您如何通过表映射创建离线数据集。前提条件 创建离线数据集前需先创建数据集所归属的标签项目。更多信息，请参见 创建标签项目。操作步骤...
Dataphin标签基于离线计算引擎，支持通过SQL加工方式开发数据集指标，对来源物理表字段进行预加工后供离线标签使用。本文将指导您如何通过SQL加工创建离线数据集。前提条件 创建离线数据集前需先创建数据集所归属的标签项目。更多信息，请...
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
Dataphin标签基于离线计算引擎，支持通过表单加工方式配置数据集指标，对来源表字段进行计数（count）、取和（sum）、取最大值（max）、取最小值（min）后定义数据集指标，以供离线标签使用。本文将指导您如何通过表单加工创建离线数据集。...
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本模式配置离线同步任务，实现源端单表同步至目标端单表、源端分库分表同步至目标端单表两类数据同步场景。...
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。通过数据同步的自定义同步任务...
数据同步提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、超图等...
DataWorks的数据集成为您提供MongoDB Writer插件，可从其他数据源中读取数据，并将数据同步至MongoDB。本文以一个具体的示例，为您演示如何通过数据集成将MaxCompute的数据离线同步至MongoDB。前提条件 本实践进行操作时，需满足以下条件。...
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、...
离线数据集成节点赋予任务流进行数据传输的能力，帮助您实现数据源之间的数据同步。本文介绍配置离线数据集成节点的方法。应用场景 离线集成节点主要用于数据迁移、数据传输等场景。功能特性 不限制来源表和目标表数据库类型。支持字段映射...
数据同步支持离线同步任务的批量创建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步MySQL数据源到MaxCompute目标端为例，介绍如何批量新增离线数据同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。...
数据同步支持离线同步任务的批量创建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步MySQL数据源到MaxCompute目标端为例，介绍如何批量新增离线数据同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。...
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据通道）场景特征。周期调度任务（天、小时级别调用）。对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。典型场景。类型 ...
通过底层存储的一份全量数据，支持离线和在线两种场景，避免因数据同步产生的数据一致性和时效性等问题。同时，提供离线业务与在线业务的计算资源物理隔离的能力，支持计算资源和存储资源定时或自动弹性扩容。它还支持标准接口的多语言可...
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如Mysql、...
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如Mysql、...
本文为您介绍在线数据风险点监控和离线数据风险点监控。在线数据风险点监控 在线业务系统的数据生成过程中必须确保数据质量，根据业务规则对数据进行监控。说明 MaxCompute本身未提供相应的监控工具，您可以借助DataWorks进行监控。详情请...
数据同步支持离线数据同步任务的新建。离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍...
数据同步支持离线数据同步任务的新建。离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍...
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大...
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...