列字段配置 新建列字段 字段名称：配置为业务数据中实际的字段名称，且后续需要基于该字段创建服务单元。支持多层嵌套，使用点（.）分隔。字段类型：根据业务数据的字段类型选择对应的字段类型。支持选择的字段类型包括Double、Float、...
案例七：大型互联网企业 用户为大型互联网企业，各业务线具有各自独立的业务中台，企业存在统一的数据中台，希望可以快速部署独立资源支持不同的业务负载，且未来不会产生数据孤岛。建议：使用 AnalyticDB PostgreSQL版 Serverless版本，...
实例性能 混合存储型实例的性能与实例规格以及业务中数据被访问的概率有很大的关系：实例规格越高，内存数据的访问比重越高，性能就越强。理想的场景中，所有的访问都命中内存，此时实例性能与Redis社区版实例基本一致；反之，在内存命中率...
会员中台作为企业的客户全景数据库，协助零售企业从客户需求出发，将各业务应用端数据统一整合，构建一个统一的基础数据管理平台，对企业经营数据实现统一管理，并赋能给各个业务端。会员中台集中管理客户、订单、商品、相关权益及规则设置...
针对海量半结构化数据计算与分析，本文将以半结构化数据JSON为例，首先简述传统数据库与数据仓库的解决方案，然后详细描述 PolarDB IMCI列式JSON、虚拟列、秒级加减列与表列数扩展等技术点，最后给出 PolarDB IMCI列式JSON实时分析与扩展流...
同时，DataWorks持续打造符合企业级数仓、数据中台构建要求的功能模块，为企业业务的数字化转型提供支持。产品受众 从事数据开发、算法开发等岗位的技术人员 从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员...
维度表 结合业务的数据域的规划，提取出各业务数据域中进行数据分析时可能存在的维度，并将维度及其属性通过维度表的方式存储下来。例如，在进行电商业务数据分析时，可用的维度及其属性有：订单维度（属性包括订单ID、订单创建时间、买家...
单物理表服务单元用于对业务数据源的单个物理表进行元数据配置。后续您可以基于该单物理表服务单元开发访问该物理表数据的API。本文为您介绍如何创建单物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作，请参见 创建服务项目...
所属行业：互联网、软件 网站地址：上海伯俊软件科技有限公司 公司介绍 伯俊软件是国内老牌数字化服务商，创立20余年，已为3000多家大中型企业提供数字化管理产品、解决方案、“业务+数据”中台、培训及专业的技术服务，客户覆盖零售、制造...
LOG+OSS+DLA+DataV 将业务应用程序产出的业务日志采集到日志服务中，通过定时日志投递（最小5分钟延迟）到OSS中，再通过定时查询，刷新到业务数据大屏中。上述方案有以下优势：日志服务（Log Service，简称LOG/原SLS）是针对实时数据一站式...
主要包括：大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶培训、专家运维保障综合服务、AI算法建模咨询、AI算法方案POC、AI标注人力服务等。阿里云大数据专家服务在金融、电商、...
敏感数据保护 对于业务中对数据保护的需求，您可以将数据进行动态或静态脱敏，在当前实验中，会将表（retail_e_commerce_2.dim_ec_mbr_user_info）中的手机号码、IP地址等敏感字段进行动态脱敏处理。具体操作请参见下文指导，更多数据保护...
业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，您需要首先了解MaxCompute支持的 数据类型版本说明。数据引入层表设计 本教程中，在ODS层主要包括...
2.服务范围 通过阿里云数据中台产品和建设实施方法论，建设【XXX】集团数据中台数据资产目录，基于资产盘点设计数据中台技术规范及总体架构，指导客户构建数据中台建设框架，并按需完成数据中台详细设计。数据中台建设咨询内容包括【业务...
通过创建HDFS数据源能够实现Dataphin读取HDFS的业务数据或向HDFS写入数据。本文为您介绍如何创建HDFS数据源。背景信息 HDFS集群由NameNode和DataNode构成master-worker（主从）模式：NameNode用于构建命名空间，管理文件的元数据等。...
典型的数据源包括：MySQL/SQL Server/PostgreSQL/Oracle等OLTP业务数据库，业务App产生的日志数据，在OSS/Hadoop上的归档数据，以及来自Kafka/Flink等系统的流式数据。在库中对ODS层数据进行加工，形成CDM（Common Data Model）和ADS...
场景二：Redis作为存储数据库使用 游戏部署架构相对简单，主程序部署在ECS上，所有业务数据存储在Redis中，作为持久化数据库。云数据库Redis版 支持持久化功能，主备双机冗余数据存储。Redis的服务可靠性至关重要，一旦Redis服务不可用，将...
在基于Dataphin构建与管理企业数据中台之前，首先需要确定数仓构建的目标与需求，进行全面的业务调研。您需要了解真实的业务需求是什么，以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，...
以业务数据链路为视角进行视图监控，可查看当前业务链路中所有业务节点的运行情况、告警信息。本文介绍了如何查看业务链路。前提条件 已启动业务监控连路，具体操作，请参见 启动业务监控链路（邀测中）。操作步骤 登录企业数据智能平台。...
数据集中存储 场景描述 该场景也称“数据大集中”或“数据归集”，属于企业数据架构中的ODS层，具有承担各垂直业务数据源的数据汇总功能。高并发写入、大容量存储、多维度查询、低成本流出是该场景的主要诉求。产品能力 PolarDB-X 可根据...
举例：数据分析师需要了解A公司电商业务中厨具类目的成交金额。当获知这个需求后，您需要分析：根据什么（维度）汇总、汇总什么（度量）以及汇总的范围多大（粒度）。例如，类目是维度，金额是度量，范围是全表。此外，还需要思考明细数据...
举例：数据分析师需要了解A公司电商业务中厨具类目的成交金额。当获知这个需求后，您需要分析：根据什么（维度）汇总、汇总什么（度量）以及汇总的范围多大（粒度）。例如，类目是维度，金额是度量，范围是全表。此外，还需要思考明细数据...
说明 自动SQL限流的解决方案应运而生，该服务已经在阿里巴巴集团内部运行了2年多，并且在2020年2月在阿里云上发布，您可以在数据库自治服务DAS进行体验和使用。解读 整体流程：监控指标采集：在阿里云申请的RDS实例默认开启主机和引擎的...
企业通过制定数据分类分级策略、模板、管理规范能够有助于帮助企业梳理清楚企业数据资产，在面向合规监管、内部数据安全控制时能够提供更完善的解决方案。同时中国内地相关法律提及数据分类分级制度，通过建立数据分类分级保护制度,对数据...
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
概念建模是Dataphin提供构建业务模型的工具，您可通过Dataphin的建模能力直接在Dataphin构建业务模型，快速将业务理解落地到中台，实现建模/数仓一体化。同时有利于数据消费者更好理解数据和数据对应的业务。本文为您介绍Dataphin数仓规划...
概念建模是Dataphin提供构建业务模型的工具，您可通过Dataphin的建模能力直接在Dataphin构建业务模型，快速将业务理解落地到中台，实现建模/数仓一体化。同时有利于数据消费者更好理解数据和数据对应的业务。本文为您介绍Dataphin数仓规划...
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 运维监控。在左侧导航栏，单击 图标，选择 监控管理>业务链路管理。在 业务链路管理 页面，打开目标业务链路上的开关...
客户价值 业务可线性拓展 依托Redis缓存和DRDS水平或者垂直拆分数据库技术，解决了高并发、存储容量扩展以及在线计算扩展的难题，使系统具备了存储100TB数据的能力，同时也具备10万TPS（Transactions-per-second）、百万QPS（Queries-per-...
在线数据风险点监控 在线业务系统的数据生成过程中必须确保数据质量，根据业务规则对数据进行监控。说明 MaxCompute本身未提供相应的监控工具，您可以借助DataWorks进行监控。详情请参见 概述。您可以对数据库表的记录进行规则校验，制定...
以业务数据链路为视角进行视图监控，可查看当前业务链路中所有业务节点的运行情况、告警信息。本文介绍了如何查看业务链路。前提条件 已启动业务监控连路，具体操作，请参见 启动业务监控链路（邀测中）。操作步骤 登录 数据资源平台控制台...
PolarDB PostgreSQL版（兼容Oracle）高度兼容Oracle语法，包括Oracle数据库用户常用的内置数据类型、内置存储过程语法、常用系统视图，重要特性DBLINK、分区表和分区索引等特性，配合ADAM智能评估工具助力企业智能存量Oracle数据库业务迁移...
Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。详情说明，请参见：配置逻辑表上游依赖。参数配置：参数配置是对代码中所用的变量进行赋值，从而支持节点调度时，参数变量可以...
Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。详情说明，请参见：配置逻辑表上游依赖。参数配置：参数配置是对代码中所用的变量进行赋值，从而支持节点调度时，参数变量可以...
新增说明 Dataphin出网IP地址 2022年02月18日 新增数据源测试连接报VPC_GRANT_ACCESS_API_ERROR错误的解决方案 在Dataphin中添加RDS类型数据源时，进行测试连接报VPC_GRANT_ACCESS_API_ERROR错误的解决方案。新增说明 数据源测试连接报VPC_...
前提条件 已创建存储空间大于业务数据库已使用的灾备数据库，建议灾备数据比业务数据大10%。已在业务数据库和灾备数据库中创建用于数据同步的账号。权限要求，请参见 RDS MySQL实例间的同步 或 RDS SQL Server间的同步。重要 灾备数据库的...
您可以通过MaxCompute函数面板，查看在MaxCompute计算引擎中存在的函数、函数的变更历史，并可以一键添加函数至数据开发面板的业务流程中。查看函数 进入 数据开发 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据...