EMR on ECS是指在ECS上运行EMR，它将EMR的大数据处理能力与ECS的弹性灵活优势相结合，使得您能够更加便捷地配置和管理EMR集群，同时支持多种开源和自研大数据组件，适用于复杂的大数据处理和分析场景。产品架构 EMR主要由四部分组成，分别...
Agent程序作为数据库审计系统的一个功能组件，需要安装在用户终端、目标数据库服务器或负责连接数据库的应用服务器之上。其主要目的是收集数据库访问流量，并进一步将这些数据流量转发到审计系统进行分析和记录。本文介绍安装及卸载Agent的...
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
然而大数据的并行查询不能拖垮系统中的高优先级的小请求，并且当 MySQL 单表数据规模超过 2000 万时，其查询性能就出现断崖式的下跌，这也是业务无法容忍的一大缺陷，因此，我们在系统选型上更倾向于 OceanBase 这样具有高吞吐，数据读写...
创建服务关联角色 当您单击 图数据库 控制台上的 数据导入-OSS授权 按钮时，系统会自动创建服务关联角色。具体操作，请参见 授权GDB访问OSS。您也可以通过RAM控制台或API，手动创建服务关联角色。具体操作，请参见 创建服务关联角色 和 ...
购买数据库审计实例后，您可以通过以下操作配置数据库审计服务：启用数据库审计实例 管理数据库审计实例 登录数据库审计系统 添加数据库实例 部署Agent程序 更多信息，请参见 A100快速入门。如何测试数据库审计网络连通性？数据库审计外网...
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本高等问题，东软急需新型运维大数据存储引擎支撑，来对运维系统存储引擎升级...
自动备份：系统自动定期触发的数据备份。自动备份策略默认开启且无法关闭，包括数据备份和日志备份。数据备份默认为每周备份两次（周一与周四），日志备份持续进行，无需设置频率。您可以 设置自动执行备份 的时间段和周期。手动备份：仅...
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
元数据支持丰富的采集源类型，如传统数据库MySQL、Oracle，大数据存储 Hive、Hologres、应用系统等，可一览不同数据源类型或应用系统已创建的采集任务数、采集对象类型等信息。前提条件 需先在 管理中心 数据源管理 应用系统 创建应用系统...
存储系统：数据存储路径由DLF基于UUID自动生成，用户无需手动指定存储路径。删除行为：删除表时，默认保留数据1天以降低误删风险，超过1天后数据会被彻底删除。新建数据表 登录 数据湖构建控制台。在 数据目录 列表页面，单击Catalog名称，...
从安全视角来看，云数据库能防护安全威胁，其安全性由弱到强可分为以下几个阶梯（阶梯越高，安全性越强）：常规云数据库服务：基于云安全服务，能够 拦截绝大部分外部攻击，但仍然需要信任数据库实例内的操作系统、数据库软件、IaaS运维...
数据保护伞是一款数据安全管理产品，为您提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等多种功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文为您介绍数据保护伞的使用流程、使用限制等内容。使用流程...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
大型促销类业务 大型促销秒杀系统，系统整体访问压力非常大。一般的数据库根本无法承载这样的读取压力，可选用云数据库 Memcache 版存储。带有计数器的库存系统 云数据库 RDS 与云数据库 Memcache 版搭配使用。RDS 存储具体数据信息，数据...
全密态数据库安全分级 从安全视角，云数据库的安全性由弱到强可分为以下几个阶梯（阶梯越高，安全性越强）：常规云数据库服务：基于云安全服务，拦截绝大部分外部攻击，但仍然需要信任数据库实例内的操作系统、数据库软件、IaaS运维人员和...
数据库 单击 获取数据列表，系统会自动获取当前所选数据库中所有的数据列表。数据库信息填写完成后，系统会自动进行测试连接，验证数据库是否能连通正常。重要 当数据库测试连接时，出现报错信息 Access VPC instance fail 后，您可以在 ...
从安全视角，云数据库能防护的安全威胁，安全性由弱到强可分为以下几个安全分级阶梯（阶梯越高，安全性越强）：常规云数据库服务：基于云安全服务，能够 拦截绝大部分外部攻击，但仍然需要信任数据库集群内的操作系统、数据库软件、IaaS运...
从安全视角，云数据库能防护的安全威胁，安全性由弱到强可分为以下几个安全分级阶梯（阶梯越高，安全性越强）：常规云数据库服务：基于云安全服务，能够 拦截绝大部分外部攻击，但仍然需要信任数据库集群内的操作系统、数据库软件、IaaS运...
采集任务通过采集适配器连接到指定的数据源，将源数据库中的对象元数据信息采集至Dataphin，通过内置解析器进行解析后存储并进行统一呈现。本文为您介绍如何创建及管理元数据采集任务。前提条件 需先在 管理中心 数据源管理 应用系统 创建...
采集任务通过采集适配器连接到指定的数据源，将源数据库中的对象元数据信息采集至Dataphin，通过内置解析器进行解析后存储并进行统一呈现。本文为您介绍如何创建及管理元数据采集任务。前提条件 需先在 管理中心 数据源管理 应用系统 创建...
Quick BI数据集自动更新：默认关闭，开启后，在Dataphin创建分析任务时，系统会自动校验数据集表结构（DDL）是否发生变更，如有变更，则触发Quick BI系统中对应的数据集自动更新，减少手动配置成本，确保Dataphin和Quick BI系统中数据集的...
对于数据导出，请登录 AnalyticDB PostgreSQL版 的管理控制台进行IP 白名单设置，详情请参见 添加白名单 数据导入 源端的数据源需要在DataWorks管理控制台进行添加，数据源添加的详细步骤请参考 配置AnalyticDB for PostgreSQL数据源 配置...
存储空间可以直接扩容，如果实例所在主机的存储空间不够用，系统会在拥有足够存储空间的主机上自动新建主备实例，并同步原实例数据。关于如何扩容存储空间以及扩容是否会闪断，请参见：RDS MySQL变更配置 RDS PostgreSQL变更配置 RDS SQL ...
存储空间可以直接扩容，如果实例所在主机的存储空间不够用，系统会在拥有足够存储空间的主机上自动新建主备实例，并同步原实例数据。关于如何扩容存储空间以及扩容是否会闪断，请参见：RDS MySQL变更配置 RDS PostgreSQL变更配置 RDS SQL ...
存储空间可以直接扩容，如果实例所在主机的存储空间不够用，系统会在拥有足够存储空间的主机上自动新建主备实例，并同步原实例数据。关于如何扩容存储空间以及扩容是否会闪断，请参见：RDS MySQL变更配置 RDS PostgreSQL变更配置 RDS SQL ...
存储空间可以直接扩容，如果实例所在主机的存储空间不够用，系统会在拥有足够存储空间的主机上自动新建主备实例，并同步原实例数据。关于如何扩容存储空间以及扩容是否会闪断，请参见：RDS MySQL变更配置 RDS PostgreSQL变更配置 RDS SQL ...
DMS为解决结构变更时的锁表问题而推出的无锁结构变更功能，能较好地规避因数据库变更导致锁表以至于阻塞业务的现象、以及数据库原生Online DDL带来的主备延迟现象。注意事项 快速入门示例中实例的管控模式为安全协同。日常使用此功能时，...
存储空间可以直接扩容，如果实例所在主机的存储空间不够用，系统会在拥有足够存储空间的主机上自动新建主备实例，并同步原实例数据。关于如何扩容存储空间以及扩容是否会闪断，请参见：RDS MySQL变更配置 RDS PostgreSQL变更配置 RDS SQL ...
背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个新版本的发布都带来了许多改进和新特性，以提高性能、可用性和安全性。目前，升级到 PolarDB PostgreSQL版（兼容...
通过任务编排中的脚本代码可以实现周期性或定时运行脚本，本文介绍配置基于数据库网关的脚本代码节点。背景信息 很多任务以脚本的方式存在于服务器中，脚本代码节点结合数据库网关，可以实现这些脚本的统一调度。例如：使用高级的工具...
MaxCompute推出外部项目功能，通过映射OSS上的Paimon catalog 目录，构建与标准Paimon文件系统层级一致的外部项目。访问权限基于用户RAMRole对OSS Bucket 的授权，支持对Paimon湖格式的元数据和数据进行读写。该方式实现 catalog级整体映射...
申请、续期和交还表权限 授权与回收表权限 数据源管理 数据源连接测试新增成功有风险状态，该状态下的数据源仅可用于数据服务、数据质量功能，不可用于数据开发和数据集成功能。ElasticSearch数据源新增支持HTTPS连接；支持自签名证书。...
您可以对数据库文件系统设置自动快照策略。设置自动快照策略后，阿里云会自动按照预设的时间点和周期为文件系统创建快照。前提条件 您已经创建了至少一份自动快照策略。具体操作，详见 创建自动快照策略。计费说明 数据库文件系统快照功能...
DataWorks基于 云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
数据库审计系统的Agent程序是部署在用户终端或目标数据库服务器上的功能插件，用来转发数据库访问流量到审计系统。您需要根据数据库服务器的类型，选择合适的方式来安装Agent，才能使数据库审计服务收集目标数据库的访问流量信息。本文介绍...
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...