本文为您介绍构建MaxCompute数据仓库的流程。构建MaxCompute数据仓库的整体流程如下。基本概念 在正式学习本教程之前，您需要首先理解以下基本概念：业务板块：比数据域更高维度的业务划分方法，适用于庞大的业务系统。维度：维度建模由...
本文介绍了数据探索的业务操作基本流程。数据探索的业务流程如下图所示。数据探索的流程说明如下表所示。流程 说明 首页 提供新手引导及用户登录、模型情况的运行看板。接入数据 配置模型编排中使用到的数据表、本地数据及API。接入算子 ...
DataWorks提供的EMR（E-MapReduce）Hive节点支持云端大规模数据的批处理分析，能够操作存储在分布式系统中的数据，简化大数据处理流程并提高开发效率。在EMR Hive节点中，您可以使用类SQL语句读取、写入和管理大数据集，从而高效地完成海量...
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
方案介绍 实现互联网、电商行业离线大数据分析的流程如下：同步用户订单等数据至MaxCompute。通过DataWorks对原始数据进行处理，并形成开放API。以API的形式通过DataV在大屏上展示结果数据。方案优势 大规模存储：超大规模存储且自动扩容，...
步骤三：新建业务流程 数据服务基于业务流程实现以业务为单元的API开发，并通过业务流程对API及函数等文件进行组织管理。因此，在数据服务创建API前，需先新建业务流程。步骤四：生成API 业务流程创建完成后，您可基于该业务流程创建相应...
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
背景信息 很多企业用户在大数据的研发流程中有创建并隔离多套环境的需求，如创建并完全隔离开发、测试、生产环境，即各环境的数据物理存储地址、任务运行集群、大数据作业脚本均隔离，并对操作人员有严格的权限管控，如仅运维团队可使用...
方案介绍 基于MaxCompute进行大数据BI分析的流程如下：通过数据集成同步业务数据和日志数据至MaxCompute。通过MaxCompute、DataWorks对数据进行ETL处理。同步处理后的结果数据至AnalyticDB MySQL。通过Quick BI可视化建立用户画像。方案...
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
本文为您介绍新版数据开发的基本开发流程。前提条件 已创建DataWorks工作空间并开通新版数据开发。本指南适用于新版数据开发，如需使用，请确保您的工作空间已开通新版数据开发。开通方式如下：创建工作空间 时，选择 使用新版数据开发...
实时数据通道 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。收益 系统解耦...
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至EMR Hive的能力，您需要将Hive组件创建为 DataWorks的 Hive数据源，实现将其他数据源的数据同步至Hive数据源，或将Hive数据源的数据同步至其他数据源。同时，可根据需要选择...
本文介绍全景监控的业务操作基本流程。全景监控的业务流程如下图所示。全景监控的流程说明如下表所示。流程 说明 监控设置 主要完成监控相关的配置工作，包括告警分组、告警订阅、负责机构和人员管理，并按需创建监控端用来接入第三方应用...
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行读取，详情请参见 OSS Reader。选择数据去向进行写入，本文以 MaxCompute...
互联网行业：快狗打车云上大数据仓库 客户简介 快狗打车则一直坚持通过“连接网络化”、“运力共享化”、“过程数据化”、“匹配智能化”等数字信息化解决方案，将闲散运力统一整合到平台上，通过大数据将运力精准匹配市场需求，实现运力的...
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并设置导出风险...
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、...（邀测中）空间元信息（邀测中）支持查看空间数据基本信息和空间数据缩略图，基本信息包括几何类型、坐标参考、空间范围、单位、要素个数等。
4.主要开发过程 工作内容 说明 需求识别 需要自动化流程实现的范围，常规方法为：明确需要模拟人工操作的基本流程；结合应用的运行方式（客户端人工操作触发、定时、接口触发、MCP触发等）与已有系统的对接方式，调整流程逻辑范围。创建...
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、...（邀测中）空间元信息（邀测中）支持查看空间数据基本信息和空间数据缩略图，基本信息包括几何类型、坐标参考、空间范围、单位、要素个数等。
购买 数据安全中心DSC（Data Security Center）实例后，在使用 DSC 检测大数据产品（包括TableStore、MaxCompute、AnalyticDB-MYSQL、AnalyticDB-PG）中存在的敏感数据或审计数据库等功能前，您需要先开启对应功能。前提条件 已开通数据...
背景信息 云数据库HBase增强版是由 云原生多模数据库Lindorm宽表引擎 提供的、完全兼容HBase的云上托管数据库，从2011年开始云数据库HBase增强版正式承载阿里内部业务的海量数据实时存储需求，支撑服务了淘宝、支付宝、菜鸟、优酷、高德等...
DM（达梦）数据源 Milvus数据源 TiDB数据源 DRDS（PolarDB-X 1.0）数据源 MongoDB数据源 TSDB数据源 Elasticsearch数据源 MySQL数据源 Vertica数据源 FTP数据源 OpenSearch数据源 TOS数据源 GBase8a数据源 Oracle数据源 HBase数据源 Graph ...
支持创建数据库节点数据源 数据源类型 数据源简介 MySQL MySQL是用于存储和处理数据的关系型数据库管理系统（RDBMS），是最流行的关系型数据库管理系统之一，其体积小、速度快、总体拥有成本低。更多介绍请参见 MySQL。SQL Server SQL ...
查看数据详情 在数据列表，单击目标数据 操作 列的 详情，可查看空间数据基本信息、空间信息和缩略图。编辑数据 在数据列表，单击目标数据 操作 列的 更多，选择 编辑，编辑数据项的名称和描述。删除数据 单个删除：在数据列表，单击目标...
您可参考本文快速掌握数据库创建的基本流程，并了解如何规划数据库数量以满足业务需求。前提条件 已 创建RDS SQL Server实例。数据库数量限制 2008 R2数据库最大数量为50，其他SQL Server实例的数据库数量受实例规格限制，详细计算公式如下...
一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
解决方案 DataWorks 联合 MaxCompute、Hologres 等云原生大数据引擎，提供一套 湖仓一体、流批融合 的一站式智能数据平台解决方案，帮助企业打破数据处理的时效壁垒。统一的数据接入与分层 通过 DataWorks 数据集成(Data Integration)，...
本文介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
本文介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。整体架构图 完整的技术架构图如下图所示。其中，MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks的数据集成负责完成数据的采集和基本...
基本流程 作为数据治理计划的负责人，在阶段工作规划和日常治理时，都离不开数据分析方法和治理工具的落地。围绕治理目标，从制定到达成的整个过程，其步骤思路可参照下图：以下为您介绍典型的存储成本优化和稳定性优化的实操案例，了解...
数据集成 MaxCompute可以通过数据集成功能加载不同数据源（例如MySQL数据库）的数据，也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上，您可以直接在DataWorks上配置MaxCompute数据源并读写...
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
使用流程 数据保护伞为您提供敏感数据规则配置、识别敏感数据、查看识别结果、处理敏感数据等管控流程，帮助您在敏感数据产生的事件前、中、后各阶段管控梳理项目中的敏感数据，保障数据安全。具体流程及相关功能介绍如下。步骤一：事前...
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。核心能力 ...
数据源适配组件 数据源方式接入业务数据流程如下：先接入数据，再通过 数据响应结果 观察业务数据和组件数据的结构差距，通过 数据映射 或 过滤器 进行数据的适配处理，最终得到适配数据。本示例基于一份关键数据字段为 category 产品类别...