DBA团队的工作核心从之前的运维转变为面向业务的数据架构设计。客户价值 DBA团队从繁重的运维工作中得以解脱。生产故障平均恢复时间大幅缩短。智能化压测，让容量评估有的放矢。客户感言 数据库自治服务DAS帮助流利说更专业、更高效地使用...
Lindorm宽表引擎是面向海量半结构化、结构化数据设计的分布式存储，适用于元数据、订单、账单、画像、社交、feed流、日志等场景，兼容HBase、Phoenix（SQL）、Cassandra等开源标准接口，支持单表百万亿行规模、千万级并发、毫秒级响应、跨...
在数据湖架构设计中，通常会应用HTAP（Hybrid Transaction and Analytical Process）体系结构，通过合理地选择分层存储组件和计算引擎，既能支持海量数据分析和快速的事务更新写入，又能有效地降低冷热数据分离的成本。更多介绍请参见 结构...
采用存储和计算分离架构设计的分布式搜索引擎，可无缝作为宽表、时序引擎的索引存储，加速检索查询，具备全文检索、聚合计算、复杂多维查询等能力，支持水平扩展、一写多读、跨机房容灾、TTL等，满足海量数据下的高效检索需求。文件引擎 ...
SQL处理优化 2023-06-26 新增数据组织优化 新说明 本文为您介绍Transactional Table 2.0在数据组织优化服务上的架构设计。数据组织优化 2023-06-26 新增TimeTravel查询与Incremental查询 新说明 对于Transaction Table2.0类型的表，...
方案价值 异地多活的价值具体表现在如下方面：业务即容灾 传统异地灾备或两地三中心的异地灾备中心常态不提供服务，当发生地域级灾难时难以保证异地灾备中心的可用性，存在切换成功率低的问题，异地多活架构下各个地域数据中心不区分角色，...
如下架构图：有两个DC，DC1有4个节点组成，DC2有4个...不同的数据中心可以设定不同的复本数，既可以作为跨数据中心容灾，也可以作备份或离线分析使用。节点 其中，存储空间：一个节点为 160GB~16TB，500个节点，也就是8000TB，大约8PB左右。
方案价值 异地多活的价值具体表现在如下方面：业务即容灾：传统异地灾备或两地三中心的异地灾备中心常态不提供服务，当发生地域级灾难时难以保证异地灾备中心的可用性，存在切换成功率低的问题，异地多活架构下各个地域数据中心不区分角色...
异地多活、无限扩展 使系统容量能在多个数据中心内任意扩展和调度，充分利用服务器资源，提供机房级容灾能力，保证业务连续性。全栈开放、开源共建 技术栈全面开源共建、保持社区中立、兼容社区、兼容开源生态，组件可插拔，SOFAStack 组件...
个人数据中心可以帮助您快捷查看自己所负责的资产，并可以对资产执行转交负责人、申请权限操作，本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人，当前表负责人可转交自己是负责人的表。项目...
个人数据中心可以帮助您快捷查看自己所负责的资产，并可以对资产执行转交负责人、申请权限操作，本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人，当前表负责人可转交自己是负责人的表。项目...
LSM-tree数据库引擎 LSM-Tree全称是Log Structured Merge Tree，是一种分层、有序，面向磁盘设计的数据结构，其核心思想是利用磁盘批量的顺序写要比随机写性能高的特点，将所有更新操作都转化为追加写方式，提升写入吞吐。LSM-tree类的存储...
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。...
应用场景 异地容灾 当一个数据中心发生故障，只需做流量切换，其他数据中心即可正常运行并接管关键业务或全部业务。灾备资源充分利用 集群中所有灾备节点均对外提供读写服务，避免造成服务器资源浪费。业务系统多地域部署 业务系统部署全球...
若您需要在SQL变更或结构设计中快速载入多个数据库，可以创建一个数据库分组，将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域，且存在多个数据库时，您每次做...
配置完逻辑库后，系统会自动解析...更多信息，请参见 结构设计 和 逻辑表结构设计。常见问题 Q：已配置逻辑库，但在控制台中找不到对应的逻辑表。A：请确认物理表中有多张表结构一致且表名前缀相同的物理表，满足条件后重新 手动更新逻辑表。
当您需要将本地数据中心的资源扩展到云上专有网络VPC时，您可以通过阿里云的VPN网关、高速通道物理专线或智能接入网关等多款网络产品，帮助您构建一个安全可靠的混合云环境。概述 您可以在本地数据中心和阿里云专有网络间建立私网通信，...
SOFAStack™（Scalable Open Financial Architecture ...在宏观架构层面，提供单机房向同城双活、两地三中心、异地多活架构演进路线，使系统容量能在多个数据中心内任意扩展和调度，充分利用服务器资源，提供机房级容灾能力，保证业务连续性。
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
在 普通数据变更、无锁数据变更、结构设计、结构同步 等工单中执行修改表结构的SQL。在SQL任务中执行修改表结构的SQL（由管理员发起）。说明 若数据库在DMS以外发生结构变更，您可以在DMS中进行如下操作，同步元数据（获取并保存最新的表...
整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓（Hive）、大数据计算服务等场景。例如，将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至...
用户基本信息表：ods_user_info_d 网站访问日志原始数据表：ods_raw_log_d 网站访问日志明细表数：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离...
数据库开发 结构设计 在新项目、新需求或者优化等业务场景中，一般会涉及到新建表、修改表等结构的变更操作，此时可以使用DMS的结构设计功能。库表同步 库表同步功能可以在多套不同环境之间（如测试环境、生产环境）进行表结构的对比，从而...
用户基本信息表：ods_user_info_d 网站访问日志原始数据表：ods_raw_log_d 网站访问日志明细表：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线...
经典应用服务 基于应用视角、提供基于 VM 模式发布管控的可视化运维管理平台，满足数据中心级别的发布部署需求和灰度能力。容器应用服务 满足金融级运维场景的云原生容器应用服务，在兼顾标准化一致性 K8s 能力的同时，提供源自蚂蚁实践的...
数据库开发 结构设计 在新项目、新需求或者优化等业务场景中，一般会涉及到新建表、修改表等结构的变更操作，此时可以使用DMS的结构设计功能。库表同步 库表同步功能可以在多套不同环境之间（如测试环境、生产环境）进行表结构的对比，从而...
本文以实现构建数据标准来设计数据模型，并通过规范化的流程，下发模型至计算引擎为例，为您介绍DataWorks数据建模的流程。前提条件 如果您使用的是阿里云主账号，请下载建模工具。如果您使用的是RAM用户，请完成授权并下载建模工具。详情...
参数 说明 Endpoint 可选，填写集群在DLF数据中心所在地域的Endpoint，若未填写则使用hive-site.xml中的配置项。Endpoint如何获取，请参见 DLF Region和Endpoint对照表。AccessKey ID、AccessKey Secret 填写集群所在账号的AccessKey ID和...
DIRunStreamxJob 运维中心数据集成启动实时任务 DIBatchRunStreamxJob 运维中心数据集成批量启动实时任务 DIStopStreamxJob 运维中心数据集成停止实时任务 DIBatchStopStreamxJob 运维中心数据集成批量停止实时任务 DIOfflineStreamxJob 运...
数据管理DMS提供的结构设计功能，可以实现对目标库、表进行符合研发规范的表结构设计。您可按需自定义不同业务线的研发流程，保障多套环境（例如开发环境、测试环境、生产环境）之间结构的一致性。本文以物理库为例，介绍进行结构设计的...
数据管理DMS提供的结构设计功能，可以实现对目标库、表进行符合研发规范的表结构设计。您可按需自定义不同业务线的研发流程，保障多套环境（例如开发环境、测试环境、生产环境）之间结构的一致性。本文以物理库为例，介绍进行结构设计的...
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为...，赋能技术团队具备大数据平台建设、架构设计、AI算法建模以及运维保障能力...
乙方收集并评估甲方业务系统的基础设施现状和甲方预期的基础设施目标，分析线下业务系统的弹性计算、网络架构等能力现状，设计甲方业务系统云上的弹性计算、网络架构、传统数据中心到云平台的网络接入方案、网络安全策略等，并根据网络功能...
数据共享 Databricks数据洞察采用数据湖分析的架构设计，使用阿里云对象存储服务（OSS）为核心存储，直接读取分析OSS的数据，无需对数据做二次迁移，实现数据在多引擎之间的共享。icmsDocProps={'productMethod':'created','language':'zh-...
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
本文介绍如何解决结构设计中表结构与变更基准库中表结构不一致问题。解决方法 请在目标表关联的所有工单状态为 设计中 的工单（工单状态为 已发布 或 已关闭 不需要处理）中移除该表。具体操作如下：登录 数据管理DMS 5.0。在顶部菜单栏中...
数据流入Transactional Table 2.0主要存在近实时增量写入和批量写入两种场景，本文为您介绍高并发近实时增量写入场景的架构设计。实际业务数据处理场景中，涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了...
本文为您介绍数据查询DQL和数据操作DML的架构设计核心要点。数据查询DQL 在功能支持上，主要针对 TimeTravel 查询和 增量查询 的场景进行了适配开发优化。在查询效率上，跟查询普通表最大的不同在于，读取源表数据文件时，可能会涉及大量 ...
本文为您介绍如何通过网络ACL功能限制本地数据中心与云上的互通关系。前提条件 您已经创建了专有网络和交换机。具体操作，请参见 创建和管理专有网络 和 创建和管理交换机。您已经在交换机中创建了ECS实例。具体操作，请参见 使用向导创建...