通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
大数据存储与计算：云原生大数据计算服务 MaxCompute（必选）、实时数仓Hologres（可选）、开源大数据平台E-MapReduce（可选），您可根据需要开通MaxCompute、Hologres或E-MapReduce。数据开发与调度：大数据开发治理平台 DataWorks数据...
其信任根基于TEE可信执行环境与数字密码学技术，用户像操作普通数据库一样简洁易用，且仅用户自身可见数据明文。全程密文 数据在客户端加密后将密文发往数据库服务端，服务端随后将加密数据和操作请求发往可信执行环境进行计算，并将由可信...
连接数据库集群 使用DMS连接集群 DMS是阿里云提供的图形化的数据管理工具，它是一种集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持对关系型数据库（MySQL、SQL Server、...
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
部署自建MySQL数据库，其中数据库大版本与RDS MySQL的大版本 必须相同（例如都是8.0）。您可以使用如下命令查询自建数据库大版本。mysql-version 查询您的自建数据库的 配置文件路径。本文示例中涉及的数据库配置文件路径如下：MySQL 8.0、...
本文向您介绍如何在DBS中设置数据库的账号与密码。背景信息 若您的数据源为 手动添加，那么您的数据源在添加时已设置过账号与密码。必要时，您可以参考本文更换数据源的账号与密码。若您的数据源为 自动添加，由于自动添加功能仅导入RDS...
ClickHouse数据源为您提供读取和写入ClickHouse...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与ClickHouse的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
您可以通过 数据库备份DBS 的批量添加数据源功能，快速导入大批量同类型的数据源，便于后续对数据源进行管理与备份。功能说明 批量导入功能仅支持MySQL公网自建数据库。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才...
本文主要介绍在阿里云数据管理DMS控制台登录数据库时，常见的问题及解决方案。如何正确的填写登录DMS的数据库账号与密码？数据库账号指用户账号，密码指用户账号的密码。如下以在DMS登录RDS MySQL数据库举例。获取数据库账号与密码。在 RDS...
数据库备份DBS 支持自动添加数据源功能，可以将阿里云上的RDS实例自动同步到DBS数据源中，以便后续对数据源进行管理与备份。功能说明 该功能当前仅支持自动接入RDS实例，包含 RDS MySQL、RDS SQL Server、RDS PostgreSQL、RDS MariaDB。...
沙箱存储费用：开启沙箱功能后，系统会自动同步待恢复的数据至沙箱存储中并生成沙箱实例快照，DBS会根据沙箱存储中的数据量产生沙箱存储费用，详情请参见 沙箱存储费用。沙箱实例费用：创建沙箱实例后，DBS会根据沙箱实例规格及使用时长...
全密态数据库是阿里云数据库的一项数据安全功能。在 PolarDB PostgreSQL版 集群中开启并使用该功能，您可以对数据库表中的敏感...说明 全密态数据库的所有安全分级版本具备一致的功能，且所有版本均具备高级密码学能力（例如保属性加密等）。
说明 全密态数据库的所有安全分级版本具备一致的功能，且所有版本均具备高级密码学能力（例如全同态加密、保属性加密等）。全密态基础版已在所有规格产品正式发布。全密态硬件加固版暂未正式发布，基于Intel TDX的全密态硬件加固版已完成...
最终效果如下：（可选）历史离线数据分析 实时数仓Hologres与大数据计算服务MaxCompute深度融合，可以组成一体化的大数据查询与分析架构。在MaxCompute公共数据集中，存储了历史GitHub全量数据。如果想要做更长时间的数据分析，有两种方式...
说明 全密态数据库的所有安全分级版本具备一致的功能，且所有版本均具备高级密码学能力（例如保属性加密等）。全密态基础版适用于所有规格（除了Intel SGX 安全增强型规格）的RDS PostgreSQL实例。全密态硬件加固版适用于Intel SGX 安全...
安全托管是 数据管理DMS 在阿里集团数据库权限访问控制最佳实践，为企业提供一系列数据库权限管控的集合，可帮助企业实现多云数据库统一权限管理。背景信息 传统的管理数据库方案，需要先获得数据库账号与密码，登录数据库后才能进行其他...
Presto开发的初衷就是为了解决使用Hive来进行在线分析速度太慢的问题，因此它采用全内存流水线化的执行引擎，相较于其它引擎会把中间数据落盘的执行方式，Presto在执行速度上有很大的优势，特别适合用来做Adhoc查询、BI分析、轻量级ETL等...
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
默认数据库及数据库登录信息 此处配置为该数据源对应的默认数据库名称，您需要输入登录数据库的用户名称及密码，密码中避免使用@符号。后续配置同步任务的说明如下：配置整库同步（包含实时和离线），您可以选择相应RDS实例下所有具有权限...
密码 数据库对应的密码。认证选项 选择 无认证。单击对应资源组后的测试连通性。测试连通性通过后，单击 完成。新建业务流程 单击当前页面左上角的 图标，选择 全部产品>数据开发与运维>DataStudio（数据开发）。右键单击 业务流程，选择 ...
数据安全中心DSC（Data Security Center）通过内置的行为异常自学习模型和流转异常自学习模型，能够高效地分析审计日志，以识别与敏感数据相关的异常行为及攻击行为。当这些模型检测到潜在的风险活动时，会自动触发告警。支持的数据库 RDS...
云数据库MongoDB的单节点实例是阿里云为用户提供的一种高性价比实例，适用于存储企业非核心数据的场景，例如开发、测试、学习、培训等。本文介绍如何创建单节点实例。前提条件 已注册阿里云账号，注册流程请参见 注册阿里云账号。注意事项 ...
云数据库MongoDB的单节点实例是阿里云为用户提供的一种高性价比实例，适用于存储企业非核心数据的场景，例如开发、测试、学习、培训等。本文介绍如何创建单节点实例。前提条件 已注册阿里云账号，注册流程请参见 注册阿里云账号。注意事项 ...
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
添加表 连接AnalyticDB新建数据集：数据集通过SQL查询语句从已经建立连接的数据库中取数，将数据以二维表的形式保存并显示在数据集管理面板处。数据集管理面板选择 模板数据集，单击上方的+。在弹出的下拉列表中，选择 数据库查询。在弹出...
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
数据源是待备份的数据库或文件路径，数据源信息包含数据源名称、数据源所在地域、数据库类型、数据库的账号与密码等。当前DBS支持如下三种方式添加数据源：手动添加数据源 批量添加数据源 自动添加数据源 DBS支持的数据源类型请参见下表。...
重置备份实例 您可以通过重置操作解除备份实例与密码机实例的绑定。警告 备份实例重置后，所有的镜像均会被删除，请谨慎操作。登录 加密服务管理控制台，在顶部菜单栏，选择目标地域。单击 数据备份恢复管理 页面，定位到目标备份实例，...
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint Hologres实例的...
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
前提条件 已新建 云数据库ClickHouse 集群，且集群的状态为运行中。如何新建，请参见 新建集群。操作步骤 登录 云数据库ClickHouse控制台。在页面左上角，选择集群所在地域。在 集群列表 页面，选择目标集群对应类型的 实例列表，单击目标...
为保证您可以顺利完成本次实验，请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和 人工智能平台 PAI。前提条件 注册阿里云账号，详情请参见 注册阿里云账号。实名认证，详情请参见 个人实名认证 背景信息 本次...
更改与数据库角色关联的密码。语法 ALTER ROLE role_name IDENTIFIED BY password[REPLACE prev_password]说明 没有 CREATEROLE 特权的角色可以使用此命令来更改自己的密码。对于无特权的角色，如果其配置文件中 PASSWORD_VERIFY_FUNCTION ...
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
重置密码 登录 云数据库ClickHouse控制台。在页面左上角，选择集群所在地域。在 集群列表 页面，选择 企业版实例列表，单击目标集群ID。在左侧导航栏，单击 账号管理。在 账号管理 页面，单击目标数据库账号 操作 列的 重置密码。在 重置...
修改密码 登录 云数据库ClickHouse控制台。在页面左上角，选择集群所在地域。在 集群列表 页面，选择 默认实例列表，单击目标集群ID。在左侧导航栏，单击 账号管理。单击目标数据库账号 操作 列的 修改密码。在 修改密码 页面中，输入两次...
功能介绍 您可以在RDS MySQL、PolarDB MySQL版 控制台上对数据库大分类组合权限（例如只读、读写、仅DML、仅DDL）进行便捷地管理与维护，但对于自定义各种权限类型组合或授予某些表级别权限等场景，您可以通过DMS推出的数据库账号权限管理...