作为承接业务方数据需求的数据产品经理，在需求阶段需要规范首次需求流程和迭代需求流程。首次需求流程 对于业务方首次提出的需求，重点工作在于评估完成该需求的技术、数据、合规的可行性后，以细化需求的方式完成产品需求文档，并组织...
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
支持防护常见的结构化数据、非结构化数据和大数据产品，例如对象存储OSS、云数据库RDS、MaxCompute等。智能化 运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，例如数据异常访问和潜在的泄露风险进行有效识别和监控...
阶段规划 鉴于对日常数据仓库研发工作的总结与归纳，本文将数据仓库研发流程抽象为如下几点：需求阶段：数据产品经理应如何应对不断变化的业务需求。设计阶段：数据产品经理、数据开发者应如何综合性能、成本、效率、质量等因素，更好地...
例如，一个A2等级的数据应用产品对应的导出表Table1、Table2、Table3，几个表都打上 A2-xxx 数据产品标记。根据血缘往上追溯，将这几个表的上游都打上A2的标记，一直标记到源数据业务系统，如图所示。icmsDocProps={'productMethod':'...
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
完成需求阶段的工作后，数据产品经理会产出最终版本的产品需求文档，以供设计人员进行设计工作。设计工作包含数据探查和系分设计两部分：数据探查旨在了解来源数据的数据形态，例如数据质量、数据分布等。结合业务场景，帮助分析和判断需求...
数据产品应用以 app 结尾，例如 asale_app。考虑到本教程仅聚焦于电商业务板块中交易成功的业务流程，您可以为ODS、CDM和ADS层分别仅建立一个项目。项目模式选择 标准模式是指一个DataWorks项目对应两个MaxCompute项目，可设置开发和生产双...
数据产品应用以 App 结尾，例如 asale_app。考虑到本教程仅聚焦于电商业务板块中交易成功的业务流程，您可以为ODS、CDM和ADS层分别仅建立一个项目。项目模式选择 标准模式是指一个DataWorks项目对应两个MaxCompute项目，可设置开发和生产双...
而数据产品等应用名称以 app 为后缀，例如 sycm_app。数据类型规范 ODS层的数据类型应基于源系统数据类型转换。例如，源数据为MySQL时的转换规则如下。MySQL数据类型 MaxCompute数据类型 TINYINT TINYINT SMALLINT/MEDIUMINT SMALLINT ...
您可以通过培训等方式，将离线数据的诉求、离线数据的加工过程、数据产品的应用方式告知在线业务开发人员，使其了解数据的重要性、价值及风险。确保在线开发人员在完成业务目标时，也要考虑数据的目标，做到业务端和数据端一致。离线系统卡...
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data ...数据应用层（ADS，Application Data Store）：存放数据产品个性化的统计指标数据，根据CDM层与ODS层加工生成。
数据应用层ADS（Application Data Service）：存放数据产品个性化的统计指标数据。根据CDM与ODS层加工生成。该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。整体数据分类架构如下图所示。在本教程中，从交易数据...
数据应用层ADS（Application Data Service）：存放数据产品个性化的统计指标数据。根据CDM与ODS层加工生成。该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。整体数据分类架构如下图所示。在本教程中，从交易数据...
项目涉众 数据产品经理 设计人员 开发人员 测试人员 数据安全与合规人员 需求版本变更历史 版本号 版本确认日期 版本变更点 提交人 常规需求申请单 指标需求中通常会涉及到下表中的约定项，如果需要自定义约定项，可以在自定义格式列进行...
不同的业务会有不同的业务规则的约束，这些规则来源于数据产品或消费的业务需求。您可以通过配置消费节点，然后上推到离线系统的起点进行监控，实现规则影响的最小化。数据的及时性 在确保数据准确性的前提下，您需要进一步让数据能够及时...
应用数据层 ADS（Application Data Service）ADS层用于存放数据产品个性化的统计指标数据，输出各种报表。例如，某电商企业，在6月9日至6月19日，杭州地域出售的各大球类商品的数量及排行情况。公共维度层 DIM（Dimension）DIM层使用维度...
因数据库网关DG（Database Gateway）产品资源投入原因，阿里云将于2023年06月25日起，停止新购、续订DG服务，并计划在2024年05月03日下线DG服务。下线产品 数据库网关DG（Database Gateway）下线时间 2023年06月25日：停止新购DG服务及相关...
因数据库网关DG（Database Gateway）产品资源投入原因，阿里云将于2023年06月25日起，停止新购、续订DG服务，并计划在2024年05月03日下线DG服务。下线产品 数据库网关DG（Database Gateway）下线时间 2023年06月25日：停止新购DG服务及相关...
本章节主要介绍如何使用Databricks数据洞察完成对多种数据源的读写，以及如何使用Databricks数据洞察完成与其他阿里云产品数据源之间的网络连接。静态数据源 Databricks数据洞察支持直接读取静态数据源。CSV文件 JSON文件 Parquet文件 ORC...
移动数据分析Quick A+Digital Analytics 移动数据分析Quick A+Digital Analytics是阿里云推出的一款移动App数据统计分析产品，为开发者提供一站式数据化运营服务。当移动数据分析自带的基础分析报表不能满足App开发者的个性化需求时，App...
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
智能数据建模使用包年包月计费模式，根据您在智能数据建模产品内创建的对象数量进行计费。您可根据实际需求，选购智能数据建模产品的不同规格。同时，智能数据建模为您提供了单独计费的行业模型模版，您可购买该模版快速构建属于您的数据...
数据库网关提供私网数据库远程...通道建立后，当您在云端使用某数据库产品（如DMS、DBS）需要访问该网络内的本地数据库时，数据库产品会通过已建立好的通道，访问至您的本地网络。相关操作 准备工作 新建数据库网关 添加数据库 查看网关状态
数据应用集市：面向数据产品需求的集市。公共集市：如果您希望创建各集市需要通用的应用层模型，则可以选择该类型。所属业务分类 数据集市所属的业务分类。详情请参见 业务分类。负责人 创建数据集市的负责人。默认为当前登录账号。备注 ...
DataWorks基于数据安全治理的常见思路，针对资产梳理、技术体系建设和运营体系建设，提供了一系列数据安全产品能力，您可通过“基础防护建设、数据安全防护措施及策略增强建设、数据安全持续运营”三个阶段在DataWorks上落地数据安全治理...
2019大数据“星河（Galaxy）”奖 最佳大数据产品奖（TOP10）。2018年 MaxCompute的多个客户案例荣获“2017大数据优秀产品和应用解决方案案例”奖。基于公共云的BigBench在100 TB规模上，MaxCompute的性能指标较2017年10月提升了一倍，达到...
产品优势 与本地数据分析相比，在线数据分析的优势如下：海量：借助计算引擎的能力，可以高效分析全量、海量的数据。流动：在线数据分析可以从不同数据源获取数据进行查询和分析，并将分析结果分享至指定成员。安全：您无需下载数据至本地...
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
数据库网关提供安全，可靠，低成本的数据...全生态服务 通过数据库网关，各种数据库产品将逐步接入，实现跨云和云上云下的全生态服务（如数据库迁移、容灾、跨库JOIN、数据分析、数据安全等能力），让您享受云端数据库产品带来的一致性服务。
因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体数据库产品获取VPC实例ID的接口，请使用 DescribeDBClusterAttribute-查看集群的详细属性 接口获取VPC...
因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体数据库产品获取VPC实例ID的接口，请使用 DescribeDBInstanceNetInfo 接口获取VPC实例ID。域名 连接数据...
因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体数据库产品获取VPC实例ID的接口，请使用 DescribeDBInstanceNetInfo 接口获取VPC实例ID。域名 连接数据...
因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体数据库产品获取VPC实例ID的接口，请使用 DescribeDBClusterAttribute 接口获取VPC实例ID。域名 连接数据...
因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体数据库产品获取VPC实例ID的接口，请使用 DescribeDBClusterAttribute-查询集群的详细属性 接口获取VPC...
因此您需要通过数据库产品的OPEN API获取DataV需要的VPC实例ID，通常为数据库实例详情中的VpcCloudInstanceId或VpcInstanceId，具体数据库产品获取VPC实例ID的接口，请参见 RDS for PostgreSQL获取VPC实例ID接口。域名 连接数据库的地址。...
因此您需要通过数据库产品的OPEN API获取DataV需要的VPC实例ID，通常为数据库实例详情中的VpcCloudInstanceId或VpcInstanceId，具体数据库产品获取VPC实例ID的接口，请参见 DescribeDBInstanceAttribute-查询实例详情。域名 连接数据库的...
本文介绍时间序列数据库产品的优势。性能卓越 具有高效的读写能力，相较于开源的 OpenTSDB 和 InfluxDB，读写效率提升了数倍。支持横向扩展，性能可达到百万级别读和千万级别写入的数据点处理能力。存储成本低 基于高效压缩算法有效压缩...
Datahub数据总线 功能集 功能 功能描述 参考文档 数据接入 API接入 使用REST API方式，将数据写入Datahub API参考 SDK接入 使用SDK将数据传入Datahub Java SDK C++ SDK Go SDK Python SDK 插件接入 使用插件将数据传入Datahub LogStash插件...
因此您需要通过数据库产品的OPEN API获取DataV需要的VPC实例ID，通常为数据库实例详情中的VpcCloudInstanceId或VpcInstanceId，具体数据库产品获取VPC实例ID的接口，请参见 RDS for SQL Server获取VPC实例ID接口。SQL Server版本 可选，当...