如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据开发模块停止更新的情况，以及迁移至DataWorks的流程。您也可以将数据开发模块迁移至EMR Worflow，迁移详情请参见 EMR旧版数据开发迁移公告。EMR ...
通过物联网平台云产品流转功能将设备数据流转到数据总线DataHub后，用户可以编写应用程序或者使用流计算引擎来处理写入到数据总线DataHub的流式数据（例如再流转至实时计算、MaxCompute等服务中），产出各种实时的数据处理结果，例如实时...
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，选择 数据资源列表 或 已授权资源列表 下数据源的数据表。在数据表页面的 ...
工作原理 在物联网平台配置云产品流转的数据解析器，实现数据源（设备消息）转发至数据目（另一个Topic、AMQP服务端或其他阿里云产品），实现设备与设备、设备与服务器、设备与阿里云产品的通信。使用限制 数据源支持的Topic类型消息，请...
工作组是 数据资源平台 进行数据研发的基本单元，用于数据隔离的命名空间，通常为一个用户组、一个项目或一个应用。在使用 数据资源平台 时，可以通过创建工作组来隔离数据，对数据进行分域管理，以达到各工作组之间空间隔离的效果。本文...
问题描述：例如，在云数据库RDS数据源中，数据表 test_table 中包含时间戳（TIMESTAMP）字段。您可以执行以下命令，导入 test_table 中的数据至HDFS。sqoop import \-connect jdbc:mysql:/rm-2ze*341.mysql.rds.aliyuncs.com:3306/s*o_...
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，选择 数据资源列表 或 已授权资源列表 下数据源的数据表。在数据表页面的 ...
数据源同步后，还需通获取当前云计算资源下最新物理表及元数据Meta信息，以便进行数据源之间的数据同步。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在工作组中分别添加数据源类型为MaxCompute、RDS MySQL...
网络连通示意图 前提条件 已具备DataWorks支持的阿里云 数据源。已 创建工作空间。已 创建资源组 并 将资源组绑定至工作空间。数据源与DataWorks工作空间已满足 适用场景 要求。配置网络连通 步骤一：获取基本信息 数据源侧 VPC信息：说明 ...
在空间数据模块中，通过设置云计算资源，默认会使用该云计算资源进行存储上传的文件型数据。支持的云计算资源类型主要为对象存储类型，具体包括OSS、MinIO。本文主要介绍如何设置云计算资源。前提条件 已新建云计算资源。操作步骤 登录 ...
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，选 择数据处理 倾斜数据处理。在 倾斜数据处理 页面，单击目标任务 操作 列...
网络连通示意图 前提条件 已具备DataWorks支持的阿里云 数据源。已 创建工作空间。已 创建资源组 并 将资源组绑定至工作空间。数据源与DataWorks工作空间已满足 适用场景 要求。计费说明 根据选择的网络连通工具不同，计费存在差异，详情请...
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
CMNS介绍 Cloud Message Notification Service（CMNS）云消息通知服务，实时跨平台数据通道，您可以使用CMNS进行通知和消息的传递。CMNS使用场景 CMNS主要有以下三种使用场景：服务端下发通知：服务端可以根据设备对象进行通知分发。对象...
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 运营。在顶部菜单栏，单击 资产注册。说明 若已在 资产注册 页面，请跳过该步骤。将鼠标悬停至 数据表 卡片上，单击 来源配置。说明 鼠标悬停至 数据表 卡片上，单击 ...
PostgreSQL类型的节点，运行于PostgreSQL类型的云计算资源，支持对PostgreSQL和MaxCompute类型的数据进行处理。本文介绍如何新建PostgreSQL类型的公共节点。前提条件 已新建PostgreSQL类型的云计算资源，具体操作，请参见 新建云计算资源。...
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，将鼠标悬停在 添加数据 或数据目录上，单击 图标。在 数据管理 页面，单击...
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，将鼠标悬停在 数据管理 上，单击 图标。在 数据管理 页面，单击 新建目录。...
您可以将已存在数据库中的数据表，通过云计算资源扫描方式，导入 数据资源平台 系统，实现逆向创建逻辑表。本文介绍如何通过云计算资源扫描方式创建逻辑表。前提条件 已添加工作组，具体操作，请参见 新建工作组。已新建目录，具体操作，请...
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，选择 同步管理 数据模版管理。在模板管理页面右上角，单击 新建模板。在 ...
数据字典帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量，创建并维护逻辑表中使用的数据字典，方便数据元引用数据字典来规范数据元的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量，本章节...
EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR提供了on ECS、on ACK和Serverless形态，以满足不同用户的需求。形态 描述 EMR on ECS EMR负责将开源Hadoop生态的组件安装...
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，选择 数据资源列表 或 已授权资源列表 下数据源的数据表。在数据表页面的 ...
基因分析平台并不直接提供基因数据的存储功能，而是依赖于阿里云 对象存储OSS 来帮助用户管理自己的基因数据文件。在开通基因分析平台时，由用户授权给基因分析平台访问用户OSS的角色权限，平台的运行任务从用户OSS中获得计算输入，最终...
当需要对设备数据进行复杂或精细化处理，且单个产品下所有设备或指定设备的消息量小于1,000 QPS时，可以使用云产品流转功能将物联网平台数据转发到 轻量消息队列（原 MNS）SMQ（Simple Message Queue(formerly MNS)）中，服务端再从 SMQ ...
通过云计算资源 将已存在数据库中的数据表，通过云计算资源扫描方式，导入 数据资源平台 系统，实现逆向创建逻辑表。具体操作，请参见 通过云计算资源导入逻辑表。通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联信息...
创建归属应用以备创建API时使用。本文介绍如何新建API应用。...已创建“信息中心（xxzx）”工作组，具体操作...配置项 示例 应用名称 全域数据平台 应用code qysjpt 应用描述 创建数据API归属的应用 预期结果 在 应用管理 列表可查看新建的应用。
操作步骤 登录 数据资源平台控制台。在页面右上角，单击 图标，选择 系统设置。在页面左侧导航栏，单击 工作组管理。在 工作组管理 页面，选择目标工作组，单击 操作 列中 云计算资源。在 云计算资源 列表中，选择目标云计算资源，单击 ...
您可以将已存在物理数据库中的数据表，通过云计算资源扫描方式，导入数据资源平台系统，实现逆向创建逻辑表，本文介绍如何通过云计算资源扫描方式创建逻辑表。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在...
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳过“单击 资产加工”的操作。在左侧导航栏，单击 图标，选择 全局...
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳过“单击 资产加工”的操作。在左侧导航栏，单击 图标，选择 字段...
当需要对设备数据进行复杂或精细化处理，且单个产品下所有设备或指定设备的消息量小于1,000 QPS时，可以使用云产品流转功能将物联网平台数据转发到 轻量消息队列（原 MNS）SMQ（Simple Message Queue(formerly MNS)）中，服务端再从消息...
通过物理化逻辑表，可以将您在 数据资源平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。本文介绍如何物理化逻辑表。前提条件 已生成待物理化逻辑表的DDL语句，具体操作，请...
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 发现，进入 概览 页面。在数据资产概览页面，根据数据需求查看或搜索相关资产。全局搜索：在 搜索 文本框，输入功能关键字，并单击目标功能的名称，可快速跳转至对应页面...
Hologres离线数据节点，运行于Hologres云计算资源之上，支持对MaxCompute和Hologres类型的数据进行处理。本文介绍如何新建Hologres类型的公共节点。前提条件 已新建Hologres类型的云计算资源，具体操作，请参见 新建云计算资源。操作步骤 ...
操作步骤 登录 数据资源平台控制台。在页面右上角，单击 图标，选择 系统设置。在页面左侧导航栏，单击 工作组管理。在 工作组管理 页面，选择目标工作组，单击 操作 列中 云计算资源。在 云计算资源 列表中，单击目标云计算资源 操作 列中...
通过物理化数据字典，可以将数据字典物理化到云计算资源生成物理表，保证设置的数据质量规则在云计算资源中生效。本文介绍如何物理化数据字典。前提条件 已创建或者导入数据字典，具体操作，请参见 新建数据字典 和 导入数据字典。已创建...
根据数据元绑定的质量校验UDF，数据建模会据此自动添加对应云计算资源平台下的UDF规则，如自动添加MaxCompute的自定义SQL规则，默认期望值为0，则执行的规则SQL如下：select sum(id_card_check(idCard,"{\"type\":\"STRING\",\"size\":18}...
MaxCompute SQL节点是离线节点，运行于MaxCompute类型的云计算资源之上，可通过输入SQL语句处理MaxCompute类型的数据源。本文介绍如何新建MaxCompute SQL类型的公共节点。前提条件 已新建MaxCompute类型的云计算资源，具体操作，请参见 ...
支持新建多种类型的数据源，为使用 数据资源平台 做数据支撑。本文介绍如何新建云计算资源。前提条件 已创建工作组，具体操作，请参见 新建工作组。背景信息 当前支持的云计算资源类型有RDS MySQL、AnalyticDB MySQL、AnalyticDB MySQL 2.0...