背景信息 大型活动期间，公司业务量可能出现大幅度上涨，数据库的使用与数据安全管理将面临巨大挑战。例如如下场景：临近双十一，数据库即将面临一次访问流量上的大考。筹备业务大促期间，您可评估您现有数据库的使用情况，预估活动期间的...
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
用户的业务系统中，通过埋点或日常积累，通常已经获取了充足的业务数据。为理清数据之间的逻辑关系和流向，首先需要理解用户的业务过程，了解过程中涉及到的数据系统。您可以采用过程分析法，将整个业务过程涉及的每个环节一一列清楚，包括...
用户的业务系统中，通过埋点或日常积累，通常已经获取了充足的业务数据。为理清数据之间的逻辑关系和流向，首先需要理解用户的业务过程，了解过程中涉及到的数据系统。您可以采用过程分析法，将整个业务过程涉及的每个环节一一列清楚，包括...
阿里云开放的大数据平台 E‑MapReduce(EMR)提供了多种产品形态，以满足不同用户的业务需求。根据部署方式可分为 EMR Serverless Spark、EMR Serverless StarRocks、EMR on ECS 和 EMR on ACK。为帮助用户选择合适的产品，以下整理了各产品...
可视化的数据资产：系统化构建业务数据资产大图，从数据视角还原业务系统、提取业务数据，快速感知业务关键环节及数据。数据使用简单可依赖：通过主题式数据查询服务，您可以快速查询和访问研发构建的数据逻辑表，简化约80%的查询代码。...
前提条件 已创建存储空间大于业务数据库已使用的灾备数据库，建议灾备数据库比业务数据库大10%。已在业务数据库和灾备数据库中创建用于数据同步的账号。权限要求，请参见 RDS MySQL实例间的单向同步、RDS SQL Server间的同步、云数据库...
可视化的数据资产：系统化构建业务数据资产大图，从数据视角还原业务系统、提取业务数据，快速感知业务关键环节及数据。数据使用简单可依赖：通过主题式数据查询服务，您可以快速查询和访问研发构建的数据逻辑表，简化约80%的查询代码。...
同时由于业务数据量较大，单个实例需要较大的数据存储量，传统的单机数据库无法满足，PolarDB 的存储计算分离能力帮我们解决了这个困扰我们很久的问题。“双十一期间 PolarDB 的IOPS能力很稳定，连接数使用到当前规格的一半，还可以再承载...
挑战和诉求：历史数据归档 历史数据归档的挑战 大部分业务数据的读写特征，都是最新产生的数据会被更频繁地读取或更新，而更久之前的数据（如1年前的聊天记录或订单信息）很少被访问。随着业务发展，数据库系统中会积累大量访问频率很低...
业务背景 伴随着信息技术的飞速发展，各行各业在业务生产中产生的数据种类越来越多，有结构化的业务元数据、业务运行数据、设备或者系统的量测数据，也有半结构化的业务运行数据、日志、图片或者文件等。按照传统方案，为了满足多种类型...
业务痛点及诉求 Ping+支付业务数据量大，并发高，已有RDS MySQL实例无法满足性能及扩展需求。交易、订单表数据量巨大，单表数据量10亿级，需要拆库拆表以缓解数据库压力。历史存量数据存在RDS MySQL之上，希望迁移后的分布式数据库语法兼容...
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
背景信息 在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量呈大幅增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战：...
背景信息 在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战 存储...
数据集成 MaxCompute可以通过数据集成功能加载不同数据源（例如MySQL数据库）的数据，也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上，您可以直接在DataWorks上配置MaxCompute数据源并读写...
数据管理 数据管理页面支持上传和管理数据，您可以实现如下多个功能：功能 说明 上传数据 数据管理页面中支持 上传数据 的类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同。...
有些问题在业务上线初期数据量较少的情况下不会触发，但是随着时间的推移，业务数据量增大，在特定条件下有些问题就会暴露出来。比较常见的问题会出现内存使用争抢。在MySQL体系中，内存主要作为数据缓存使用，这意味着数据需要不断地迭代...
单实例成本对比 Redis开源版 最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎 Redis开源版 的吞吐和延时，极大提升业务数据可靠性。磁盘型：基于ESSD/SSD研发，兼容Redis核心数据结构与接口，可提供大容量、...
对高吞吐写入场景和高并发业务场景进行了设计优化，同时提供了弹性扩缩能力，适合业务数据量大并具有典型的业务访问波峰波谷场景。无需手动调整配置，从而提升了运维效率，节省了人力和时间成本。功能简介 Serverless 提供了CPU、内存、...
数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎 Redis开源版 的吞吐和延时，极大提升业务数据可靠性。磁盘型：基于ESSD与SSD研发，兼容Redis核心数据结构与接口，成本最低为 Redis开源版 的15%，性能约为 Redis开源版 的60%...
对高吞吐写入场景和高性能跑批业务进行了设计优化，同时提供了弹性伸缩能力，适合业务数据量大、并具有典型的业务访问波峰波谷场景。在存储计算分离基础上，提供了数据共享功能，打破了物理机的边界，让云上的数据流动了起来。一存多读的...
数据域：数据域则是跨业务的主题聚合，通常是根据业务类别、数据来源、数据用途等多个维度，对企业的业务数据进行的区域划分。一个数据域可以归属多个业务分类，比如交易域可能同时服务于线上和线下的交易场景。业务过程：数据域下的具体...
调试运行业务流程 数据开发概述，在左侧导航栏的数据开发或手动业务流程模块，双击目标业务流程，进入该业务流程面板。调试运行业务流程。单击业务流程面板工具栏的运行（图标），即可按照依赖关系，依次运行整个业务流程中的任务。说明 当...
数据仓库业务需求模板 数据仓库业务需求模板 需求申请 需求申请人*需求使用方*期望完成日期*需求类型*需求目的 需求背景*期望目标*应用系统名 应用系统联系人 需求内容 需求概览 需求范围*描述此次需求涉及的范围（可以从人群特征，业务...
DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求，也提供了 周期业务流程 和 手动业务流程 两种，以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程，...
调用CreateDataServiceGroup创建数据服务业务流程。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称...
业务场景二：创建仅实现查询、下载业务数据的项目 场景需求 业务单一，成员角色基本一致，后续业务不会扩展。只需要查询、下载业务数据进行分析。需求分析 项目不做数据开发，需要分析的数据在其他项目中。为避免不同主账号资源隔离，本...
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。本文示例新建名为 rds_workshop_...
调用GetDataServiceGroup查询数据服务业务流程。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 ...
实时通道 通过数据总线，业务数据能够实时汇入大数据系统，缩短数据分析周期。实时数据清洗和分析 接入多种异构数据，实时清洗并归一化 通过数据总线和实时计算，您可以把多种数据源的异构数据实时清洗成统一的结构化数据，为进一步分析做...
业务资产是企业核心的高质量、高价值数据资产，包括租户下所有的表、调度任务等数据资产，可通过标签、类目等方式进行管理，以便对资产进行治理。本文将为您介绍业务资产的管理与治理方式。功能介绍 DataWorks数据资产治理提供了业务资产的...
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台的执行引擎和...
DML无锁数据变更可以将单个SQL拆分成多个批次执行，能更好地满足业务方对大量数据变更的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时，需要定期清除表...
本教程中以A公司的电商业务为例，梳理出业务数据框架如下图所示。A公司的电商业务板块分为招商、供应链、营销和服务四个模块，每个板块的需求和数据应用都不同。您在构建数据仓库之前，首先需要明确构建数据仓库的业务板块和需要具体满足的...
MaxCompute Hologres EMR Spark 数据分析 大数据AI公共数据集分析 本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，...
本教程中以A公司的电商业务为例，梳理出业务数据框架如下图所示。A公司的电商业务板块分为招商、供应链、营销和服务四个模块，每个板块的需求和数据应用都不同。您在构建数据仓库之前，首先需要明确构建数据仓库的业务板块和需要具体满足的...
我的第一个业务流程 UseType string 业务流程所属的功能模块，包括 NORMAL（数据开发）和 MANUAL_BIZ（手动业务流程）。NORMAL 示例 正常返回示例 JSON 格式 {"HttpStatusCode":200,"ErrorMessage":"The connection does not exist.",...
数据服务基于业务流程实现以业务为单元的API开发，并基于业务流程对API、函数和服务编排进行组织管理。因此在生成API前，您需要创建业务流程。本文为您介绍如何创建及管理业务流程。前提条件 在创建业务流程之前，您需要登录 API网关控制台...