数据传输（DTS）数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。更多信息，请参见 数据同步方案概览。数据迁移 数据迁移...
用户为互联网SaaS客户，需要建立数据中台，涉及多数据源包括RDS、Flink、OSS等，期待在平台上完成数据的ETL流程，实现多源处理以及分析侧不同场景的混合负载支持，需要高稳定性保证，同时平台对接数据应用支持报表和企业级数据服务。...
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
MySQL 阿里云Clickhouse StarRocks 不支持 支持 企业级数据集成，需任务编排与监控的复杂数据链路场景 通过DataWorks导入数据 DTS 实时同步：支持秒级延迟数据迁移，提供断点续传、数据校验功能，保障迁移可靠性。MySQL PostgreSQL 支持 ...
研发流程解决方案 DMS为在线流程化系统，可统一管理企业内所有的数据库资源，所有人员跟数据库交互的操作都可在此完成。您可以根据不同的业务为对应的实例配置不同的研发规范、研发流程、审批流程的设计与实施，轻松实现个性化、灵活、安全...
数据库的安全风险大 随着数据价值的提升，企业的数据面临着越来越多的内部或者外部的攻击，数据泄漏、数据丢失等问题层出不穷。未授权或者不可预期或者错误的数据库访问和使用。数据泄漏。数据损坏。黑客攻击。软硬件bug，导致数据异常。误...
可以结合企业的数据使用特点，将明细事实表的某些重要属性字段做适当冗余，也即宽表化处理。在Dataphin中，明细数据层的表通常也被称为事实逻辑表。汇总数据层（DWS，Data Warehouse Summary）：以分析的主题对象作为建模驱动，基于上层的...
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
满足等保2.0及《数据安全法》《个人信息保护法》等合规要求，适用于合规审计与企业级数据安全治理场景。使用场景 敏感数据识别与治理 识别并分类结构化与非结构化敏感数据。对图片中的敏感信息执行智能遮盖。支持数据库敏感字段一键加密，...
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
类别 数据源 导入方式 文档链接 消息队列 Kafka 数据同步 通过数据同步功能同步Kafka数据（推荐）日志类数据 日志服务（SLS）数据同步 通过数据同步功能同步SLS数据（推荐）大数据 Hive 数据迁移 Hive数据导入 存储 OSS 元数据发现 通过...
数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级标准。Dataphin的数据分类，支持多级的数据分类层级管理，同时支持内置识别特征和识别方式，便于后续自动进行...
随着新金融、新零售、新制造、新技术、新能源、人工智能、IoT新场景不断涌现，企业对数据存储和计算分析的能力要求不断加强。SQL和NoSQL的边界正在消失，软硬件一体化将成为未来数据库的发展方向。云数据库天然具备云上灵活性，能够提供...
数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级标准。Dataphin的数据分类，支持多级的数据分类层级管理，同时支持内置识别特征和识别方式，便于后续自动进行...
确保企业在数据处理全流程中满足合规要求，实现精准化、可视化的数据权限管控与风险防护。分级说明 DSC分级 说明 法规/标准分级 法规/标准说明 S1 不敏感数据，公开该类数据在绝大多数情况下不会造成危害。如省份、城市、商品名称等。1级...
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
这些功能为企业提供了全面的数据安全保障，确保数据在传输、存储和访问过程中的安全性。安全能力点概述 StarRocks提供了多种企业级安全功能，旨在保护数据在传输、存储和访问过程中的安全性，并提供灵活的权限管理。以下是其主要的安全能力...
复杂网络兼容：通过配置 网络连通配置，支持公网、VPC、高速通道或云企业网（CEN）实现混合云/多云架构下的数据流转。灵活丰富的同步方案 满足从离线到实时、从单表到整库、从全量到增量的同步需求。离线同步：支持单表/整库/分库分表等...
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
复杂网络兼容：通过配置 网络连通配置，支持公网、VPC、高速通道或云企业网（CEN）实现混合云/多云架构下的数据流转。灵活丰富的同步方案 满足从离线到实时、从单表到整库、从全量到增量的同步需求。离线同步：支持单表/整库/分库分表等...
数据服务（OneService）是...应用场景 建立企业的API生态，例如开放API给合作伙伴、开发者等，帮助企业实现数据的资产化和价值化。场景及使用流程 在开始使用数据服务前，需要您了解数据服务的使用场景，及在不同场景下对应角色的操作流程。
数据服务（OneService）是...应用场景 建立企业的API生态，例如开放API给合作伙伴、开发者等，帮助企业实现数据的资产化和价值化。场景及使用流程 在开始使用数据服务前，需要您了解对数据服务的使用场景，及在不同场景下对应角色的操作流程。
在该阶段，DataWorks为您提供了新人入职自动化授权、按需申请数据权限&多级审批、数据可用而不可见、数据完整性与可用性专项治理等多个场景的最佳实践，帮助企业做好数据安全防护措施并建设更加完善的安全治理策略。场景一：新人入职自动化...
是否满足安全与合规要求：根据企业自身数据安全的要求，严格控制数据内部流向，划分研发过程中数据可流入的库、项目、表、字段等。对于流出外部的数据，更需要严格评估流出数据内容、流出目的地是否符合公司数据安全的要求。说明 此项评估...
安全性 OceanBase 数据库在调研了大量企业对于数据库软件的安全需求，并参考了各种安全标准之后，实现了企业需要的绝大部分安全功能，支持完备的权限与角色体系，支持 SSL、数据透明加密、审计、Label Security、IP 白名单等功能，并通过了...
企业专属知识库 GIS 时空大数据分析 离在线一体数据分析 其他云数据仓库业务迁移（Greenplum、Redshift、Synapse、Snowflake、BigQuery等）客户行业 游戏、零售、汽车 零售、电商、教育 节省成本 共同点 按实际数据量收取数据存储费用 冷热...
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期、湖格式自动优化、存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...
数据传输服务DTS（Data Transmission Service）支持Tair（企业版）实例间的双向同步，适用于异地多活、数据容灾等多种应用场景，本文介绍数据同步任务的配置流程。前提条件 已创建源库目标Tair（企业版）实例。创建方法请参见 步骤1：创建...
如果您需要使用独享数据集成资源组通过内网同步ECS自建的数据库，您需要为独享数据集成资源组做相关的网络配置，详情可参见 新增和使用独享数据集成资源组，连通方案核心点为：独享数据集成资源组绑定ECS所在VPC，会自动添加一个路由指向...
以下是几种典型的组合模式：组合模式一：离线数仓构建 这是最经典、最基础的组合，适用于构建企业级数据仓库，进行周期性的批量数据处理和商业智能（BI）分析。核心目标：建立稳定、可靠、可追溯的离线数据仓库体系。模块组合：实现方式：...
特别是在数据分析领域，企业对数据的时效性要求也越来越高。在数仓领域，大量的业务开始从传统批量处理的离线模式，转向基于增量流式的实时处理模式。所以实时数仓的建设，成为当前很多数据分析业务的一项重要任务。实时数仓搭建的主要痛点...
各个分层的功能介绍如下：数据引入层 ODS（Operational Data Store）ODS层用于接收并处理需要存储至数据仓库系统的原始数据，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。ODS层对原始数据的操作具体...
为保障数据迁移任务的顺利执行，在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查失败可能的原因及修复方法。当目标数据库连接性预检查失败时，可能是以下几种原因。数据库账号或数据库密码不...
通过外网添加数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表中，选择 RDS for MySQL。在列表中选择 外网。如果需要设置外网地址，请参见 设置连接地址。填写数据库信息。参数 说明 ...
域名 访问ClickHouse数据库实例使用的外网地址。您可登录 云数据库ClickHouse控制台，单击集群ID，在 集群信息 页的 网络信息 区域，获取外网地址。端口 数据库设置的端口号。数据库登录信息 输入需要访问的ClickHouse实例的登录用户及密码...
数据开发 数据开发层提供可视化工具和代码管理，涵盖数据的采集、清洗、建模、分析以及任务调度等一系列开发过程，旨在支持企业对数据资产的高效管理与利用。在EMR中数据开发的服务推荐使用阿里云产品DataWorks 和EMR Workflow。具体如下：...
通过外网添加数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表中，选择 ClickHouse。网络选择 外网，填写数据库信息。参数 说明 名称 数据源的显示名称，可以自由命名。网络 数据源可选...
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
通过外网添加数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表中，选择 RDS for PostgreSQL。在列表中选择 外网。如果需要设置外网地址，请参见 设置连接地址。填写数据库信息。参数 ...