开源全托管服务EMR Serverless StarRocks 开源大数据平台 E-MapReduce 开源全托管服务EMR Serverless Spark 数据中台 一站式大数据开发治理DataWorks 在本案例中，DataWorks作为数据中台，用于对原始数据进行同步、加工、质量监控、数据...
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
通过集成Spark与OSS，阿里云EMR实现了对云端数据湖的高效处理与分析。EMR支持通过免AccessKey和显式AccessKey两种方式读写OSS数据。本文主要介绍Spark如何处理和分析OSS中的数据。免AccessKey方式读写OSS 通过Spark RDD读写OSS数据 本示例...
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
开源组件 集成Apache社区开源大数据组件，涵盖数据集成、数据存储、资源管理、计算引擎、数据开发、数据服务等多个领域，方便快速搭建高效可靠的数据处理和管理平台。自研组件 为了让开源大数据组件和服务更好地运行在阿里云基础设施上，...
若您的业务需集成特定组合的组件，您可创建自定义集群，灵活组合EMR提供的组件，打造适配业务特性的大数据平台。本文将为您介绍这些集群的区别，帮助您快速选型。业务场景选型 业务场景（集群类型）支持的组件 核心能力 适用场景 数据湖...
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
表格存储Tablestore支持接入到大数据平台中进行管理和使用，本文介绍表格存储支持接入的大数据平台及其适用场景。对接大数据 说明 适用场景 接入到DataWorks 通过在DataWorks中添加Tablestore数据源来连接Tablestore服务。添加Tablestore...
解决方案 DataWorks 联合 MaxCompute、Hologres 等云原生大数据引擎，提供一套 湖仓一体、流批融合 的一站式智能数据平台解决方案，帮助企业打破数据处理的时效壁垒。统一的数据接入与分层 通过 DataWorks 数据集成(Data Integration)，...
DataWorks 是阿里云提供的一站式大数据开发与治理平台，旨在帮助用户解决从数据接入、处理、治理到服务化的全链路数据问题。它通过一系列高度协同的功能模块，将复杂的数据工程流程化、可视化，显著降低了大数据开发的门槛。本文将为您逐一...
对原生产数据库的高兼容性，帮助客户实现业务平滑迁移到PolarDB国产数据库，用户的使用习惯基本不变，数据库平台非常方便的对接用户内部各类系统和监控告警平台。DTS迁移工具同时提供数据回写原生产库，确保支持回切并同步至流处理平台进行...
数据API 可以调用预置指标API、产品数据API或自定义服务API，以获取所需数据，实现服务器与物联网平台的系统级对接。数据智能 提供算法模板和算法实例，协助您更好地解读设备数据，及时的掌控设备运行状态或者监测设备状况。离线数据集成...
上行数据接入 支持物联网平台数据、MQTT数据、Kafka数据、EMQX数据、Flink实时流数据等多种数据源的接入。多模型数据存储 表格存储 提供了强大的数据引擎，包括宽表引擎、时序引擎和索引引擎。宽表引擎：宽表引擎是一个分布式的数据表，...
背景信息 Quick BI是由阿里云提供的一款全场景数据消费式的BI平台，无缝对接各类云上数据库和自建数据库，大幅提升数据分析和报表开发效率。您只需在Quick BI中添加StarRocks数据源并成功连接，然后可以在Quick BI上进行数据的分析和展示。...
本文介绍如何通过Spark Streaming消费 轻量消息队列（原 MNS）SMQ（Simple Message Queue(formerly MNS)）中的数据，并统计每个Batch内的单词个数。Spark接入 SMQ 示例代码如下。val conf=new SparkConf().setAppName("Test MNS Streaming...
对接任意测序平台和下机数据类型，可批量或流式上传原始数据。配置自动化分析流程，支持批量样本同时分析，完成后推送通知。原始数据和分析结果可以通过OSS直接在线交付，或者进行归档备份 基因云平台开发 集成阿里云基因分析平台引擎，...
本文介绍Spark如何写入数据至Hbase。Spark访问HBase示例 重要 计算集群需要和HBase集群处于一个安全组内，否则网络无法打通。在E-Mapreduce控制台创建计算集群时，请选择HBase集群所在的安全组。Java代码 JavaSparkContext jsc=new ...
本文介绍如何通过Spark Streaming消费消息队列RocketMQ（简称MQ）中的数据并计算每个Batch中的单词。通过Spark访问MQ 代码示例如下。val Array(cId,topic,subExpression,parallelism,interval)=args val accessKeyId=System.getenv(...
设备接入平台通过与表格存储对接，将数据存储到表格存储宽表模型中。更多信息，请参见 宽表模型介绍。表格存储的数据表用于车辆元数据的存储、更新和查询。宽表模型的表结构设计请参见 宽表模型设计。多元索引用于车辆检索和圈选。更多信息...
阿里云数据资源平台是构建数据智能的全流程平台，提供数据汇聚、规范设计、指标与标签体系构建、数据质量管控、数据资产管理、数据资产服务与共享、智能分析等核心功能，支持行业知识内容沉淀，帮助金融、政府及企业客户快速构建智能数据中...
如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据开发模块停止更新的情况，以及迁移至DataWorks的流程。您也可以将数据开发模块迁移至EMR Worflow，迁移详情请参见 EMR旧版数据开发迁移公告。EMR ...
企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造阿里云上的大数据平台。
使用数据资源平台时，需先购买并登录数据资源平台。本文为介绍如何购买及登录数据资源平台。前提条件 已创建阿里云账号，具体操作，请参见 创建阿里云账号。背景信息 数据资源平台账号登录体系与阿里云保持一致。购买数据资源平台 在数据...
数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据地图（必选）、大数据开发治理平台 DataWorks数据保护伞（必选），基础版DataWorks已包含。数据展示：智能分析套件Quick BI（必选），您可根据...
PolarDB-X 1.0 SQL审计与分析支持高级管理，您可以通过高级管理跳转到日志服务控制台，修改SQL日志的存储时间、对SQL日志进行实时订阅与消费、数据投递和对接其他可视化等高级操作。开启SQL日志审计 后，在当前页面右上角单击 高级管理 ...
生活物联网平台支持产品对接多种语音平台，如Amazon Alexa、Google Assistant等，接入后可通过语音直接对设备进行控制。背景信息 在生活物联网平台创建的产品对接语音平台需要绑定技能，通过技能与语音平台打通，实现设备可以跨平台控制。...
新功能发布 数字工厂 边缘数据集成 新增支持数据总线类型的数据源 服务模型支持异步服务对接方式 区域/行业平台 1）企业集中管控，物联设备集中管控，新增支持选择物联网平台企业实例内的物联设备进行管理。2）门户内容管理，新增平台用户...
云企业网 通过CEN实现本地IDC与DTS云服务互通 添加DTS服务器的IP地址段 数据迁移 数据同步 数据订阅 数据校验 云企业网CEN 数据库网关 通过数据库网关将本地IDC或第三方云的数据库接入至阿里云 添加DTS服务器的IP地址段 数据迁移 数据同步 ...
云计算资源是 数据资源平台 中数据标准字段使用的基础，通过了解数据标准支持的云计算资源类型，并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源，以备在物理化质量校验函数和物理化数据字典时使用。本文介绍数据标准设计中...
协同 数据同步：数据同步可实现离线、实时多源异构数据的便捷同步或接入，系统可提供完善的数据接入配置、数据模板配置、数据同步任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求...
对接Grafana 登录Grafana。在左侧导航栏，选择 Configuration Data Sources。在 Data Sources 页签，单击 Add data source。选择 Prometheus，单击 Select。在 Settings 页签中，请参考如下说明配置数据源。参数 说明 Name 请您自定义一个...
云计算资源是 数据资源平台 中数据建模使用的基础，通过了解数据建模支持的云计算资源类型，并在系统设置模块添加数据建模需要使用的云计算资源类型对应资源，以备在物理化逻辑表和设置对应资源的质量规则时使用。本文介绍数据建模中支持...
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
本文将为您介绍数据资源平台的到期提醒与停机策略。到期提醒 数据资源平台实例到期前的168小时（7天）、72小时、24小时，系统将会给您发短信，提醒您所购买的实例即将到期。请您及时备份数据或续费，避免影响正常使用。停机策略 数据资源...
功能模块 核心能力 详细说明 多源融合与灵活交互 自动对接多种数据源 目前支持 AnalyticDB for MySQL 和Clickhouse数据源，以及实时接入MaxCompute、MySQL、Kafka和SLS等数据源。多工具支持 中途可干预分析步骤，可利用RAG、SQL、内置异动...
功能模块 核心能力 详细说明 多源融合与灵活交互 自动对接多种数据源 目前支持 AnalyticDB for MySQL 和Clickhouse数据源，以及实时接入MaxCompute、MySQL、Kafka和SLS等数据源。多工具支持 中途可干预分析步骤，可利用RAG、SQL、内置异动...
工作组是 数据资源平台 进行数据研发的基本单元，用于数据隔离的命名空间，通常为一个用户组、一个项目或一个应用。在使用 数据资源平台 时，可以通过创建工作组来隔离数据，对数据进行分域管理，以达到各工作组之间空间隔离的效果。本文...
在特定场景下，设备无法直接接入阿里云物联网平台时，您可使用云云对接SDK，快速构建桥接服务，搭建设备或平台与阿里云物联网平台的双向数据通道。使用说明，请参见 使用云云对接（原泛化协议）SDK。接入流程 开通物联网平台服务后，设备接...
概览 对数据资产的全局及增量指标进行统计和展示，帮助用户快速了解平台管理数据资产的总体情况。支持数据表、API和指标资产类型，同时，支持精确或模糊搜索数据资产。支持数据资产总量、今日新增等全局指标展示，并以趋势图的形式展示增量...
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...