背景信息 DataWorks支持您按照数据的敏感级别和所属分类定义数据识别规则，帮助您识别组织内的敏感数据，对于识别结果不准确的数据，您可以通过 查看敏感数据识别结果并手动修正，并在 敏感数据概况 模块为您展示最近的通过数据识别规则...
本文介绍如何在云数据库ClickHouse中批量或异步插入数据。...手动批处理的优点是，如果相同的插入语句多次发送到云数据库ClickHouse企业版（例如，由于客户端软件中的自动重试导致了一些暂时的网络连接问题），它支持表数据的默认自动去重。
数据灾备中心提供了对您名下的 云服务器 ECS 资源 进行健康数据评分的功能，以帮助您了解整体云 资源 的数据保护情况。本文将介绍数据灾备中心针对 云服务器 ECS 资源 进行数据评分的检查项，并提供相应的修复指导。通过数据评分检查和修复...
其中：日志数据来源可以为ECS、容器、移动端、开源软件、网站服务或JavaScript。本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明 适用场景 Tunnel 通过MaxCompute的Tunnel功能，...
DTS（Data Transmission Service）的数据订阅功能结合MongoDB或Redis，可以实现高可靠、低延迟的缓存更新策略。本文以源为 RDS MySQL、目标为 云数据库Tair（兼容Redis）为例，为您介绍缓存更新策略。前提条件 已完成数据订阅通道的配置并...
阿里云提供了多种数据保护方案，帮助您 实现高效的数据备份和灾难恢复。但如果选择了不适合的数据保护方案，不仅可能无法满足业务需求或合规要求，还可能导致不必要的成本增加。本文从资源类型出发（云服务器ECS、对象存储OSS、文件存储NAS...
DataWorks是一站式智能大数据开发治理平台，适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、AnalyticDB、StarRocks、PAI 等数十种大数据和AI计算服务，为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、...
OceanBase 客户端（OBClient）OBClient 是一个交互式和批处理查询的命令行工具，支持 OceanBase 数据库的 MySQL 模式租户和 Oracle 模式租户，可以访问 软件中心 进行下载安装。OBClient 在运行时需要指定 OceanBase 数据库租户的连接信息...
客户端 在连接 OceanBase 数据库的 Oracle 租户时，支持的客户端如下：OceanBase 客户端（OBClient）OBClient 是一个交互式和批处理查询的命令行工具，支持 OceanBase 数据库的 MySQL 模式租户和 Oracle 模式租户，可以访问 软件中心 进行...
DataWorks的费用主要由三部分构成：一是购买功能权限的版本软件费；二是运行任务的资源组费用；三是数据质量、智能监控等服务的超额费用。此外，底层MaxCompute等引擎的计算与存储成本，将产生独立的账单。计费概览 一、软件费用 重要 购买...
您可以在ECS实例中安装SSRS（SQL Server Reporting Services）报表服务器，然后基于RDS SQL Server的数据输出报表。本文介绍如何在ECS实例中安装并使用SSRS报表服务。背景信息 微软的SQL Server产品中包含SQL Server数据库引擎、Reporting ...
数据传输服务DTS（Data Transmission Service）提供的数据投递功能，用户可以通过SDK将各种类型的数据源投递到DTS，再由DTS同步至目标数据库，从而支持更多类型的数据源。应用场景 数据投递功能适用于以下三类场景：源端为DTS同步方案暂不...
方案背景 华宁环球（北京）减灾与应急科技有限公司专注于自然灾害风险、灾害应急预警领域全栈数据、模型及平台研发，面向保险等行业及各级政府提供技术服务，数据及模型研发及成果应用处于行业领先水平。公司主营OpenRIS灾害风险大数据平台...
简介 MaxCompute开放的公开数据集类别包括：GitHub公开事件数据、国家统计数据、TPC性能测试数据、数字商业类数据、生活服务类数据、金融股票类数据。所有的数据均存储在MaxCompute产品的公开项目BIGDATA_PUBLIC_DATASET的不同Schema中。...
随着业务发展，数据库系统中会积累大量访问频率很低甚至为0的数据，这些数据的积累容易导致如下问题：历史数据和最新数据存储在同一数据库系统中，导致磁盘空间不足。大量数据共享数据库系统的内存、缓存空间、磁盘IOPS等，导致性能问题。...
您可以通过DBeaver的图形界面查看数据库结构、执行SQL查询和脚本、浏览和导出数据、处理BLOB/CLOB数据以及修改数据库结构等。准备工作 开始使用DBeaver前，您需要完成以下准备工作。安装DBeaver软件。安装MySQL JDBC驱动。将安装了DBeaver...
本文以部署在本地IDC中的MySQL为例，为您介绍数据源如何与DataWorks进行网络连通。适用场景 如果您的数据源满足以下条件，推荐使用本方案。数据源部署在本地IDC中。方案说明 数据源部署在本地IDC场景下，推荐使用VPC网络（内网）连接，使用...
Fluentd（DataHub通道系列）Fluentd是一个开源的软件，用来收集各种源头日志（包括Application Log、Sys Log及Access Log），允许您选择插件对日志数据进行过滤，并存储到不同的数据处理端（包括MySQL、Oracle、MongoDB、Hadoop、Treasure ...
2 种不同的介质上 1 表示：至少将 1 份备份保存在物理位置独立的异地 在公共云上，不管是传统备份软件，还是云原生的备份服务，都会使用性价比高、可靠性好的对象存储来存储备份数据。因此 3-2-1 中的“2”在公共云场景下，也可以解读为...
DM（达梦）数据源 Milvus数据源 TiDB数据源 DRDS（PolarDB-X 1.0）数据源 MongoDB数据源 TSDB数据源 Elasticsearch数据源 MySQL数据源 Vertica数据源 FTP数据源 OpenSearch数据源 TOS数据源 GBase8a数据源 Oracle数据源 HBase数据源 Graph ...
随着项目演进中，人员权限会更新，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点及调整建议。背景信息 在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。但是当项目进入稳定发展的...
Amazon S3数据源 Graph Database（GDB）数据源 PolarDB数据源 Amazon Redshift数据源 HDFS数据源 PolarDB-X 2.0数据源 AnalyticDB for MySQL 2.0数据源 Hive数据源 PostgreSQL数据源 AnalyticDB for MySQL 3.0数据源 Hologres数据源 Redis...
元数据 API 标题 API概述 目录 目录 CreateCatalog 创建数据湖数据目录 创建数据湖数据目录。DeleteCatalog 删除数据湖数据目录 删除数据目录。UpdateCatalog 更新目录 更新数据目录内容。ListCatalogs 获取数据目录列表 分页查询，获取...
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin共享模式（全托管版）全托管又称公共云多租户...
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍如何使用数据域功能分类管理资产。...
在弹出的添加 数据对话框 中，选择需要添加的数据源类型，支持添加 RDS for PostgreSQL数据源、RDS for MySQL数据源、兼容MySQL数据库的数据源、实时数仓Hologres数据源、AnalyticDB for MySQL数据源。操作数据集 在数据集管理页面右上角...
新版数据订阅支持使用0.11版本至2.7版本的Kafka客户端消费订阅数据，DTS为您提供了Kafka客户端Demo，本文将介绍该客户端的使用说明。注意事项 使用本文提供的Demo消费数据时，如果采用auto commit（自动提交），可能会因为数据还没被消费完...
元数据管理是构建数据湖重要一环，通过有效的集中式元数据管理，可以提升数据资产价值。本文为您介绍数据湖构建中数据库、数据表及函数的相关操作。数据库 创建数据库 登录 数据湖管理控制台。在左侧菜单栏，选择 元数据 元数据管理。单击 ...
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
数据库 数据库 ListDatabases 查询数据地图数据库列表 查询数据地图中给定实例/集群/数据目录下的数据库列表。对于dlf/starrocks类型，查询给定数据目录下的数据库列表，其中starocks类型仅支持查询Internal Catalog；对于其他类型，查询...
DLF数据权限：主要控制DLF内部资源的访问和使用权限，包括数据库、数据表、数据列、函数、数据目录等，以及数据权限的操作权限。数据权限详细说明，请参见 数据权限。数据授权相关的操作，请参见 数据授权。湖管理 湖管理包括Location托管...
在ChatBI中进行交互式会话之前，需要通过数据集来圈定开展分析的数据范围。数据集可以是目标数据源中的数据表，也可以是本地文件。准备工作 已在使用ChatBI功能的对应地域创建 Serverless资源组。适用范围 数据源类型的数据集，仅支持选择...
数据管理功能，以数据源维度展示了数据看板中所有组件使用的数据源合集，您可在该界面查看/编辑数据源配置，或批量替换目标组件所使用的数据源类型。批量替换数据源时，仅会更改数据来源（例如，由Hologres更改为RDS for MySQL），数据源已...
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将符合筛选条件的表数据归档至其他数据库或存储服务中。...
数据传输（DTS）数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。更多信息，请参见 数据同步方案概览。数据迁移 数据迁移...
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
监控告警 数仓和数据湖 功能集 功能 功能描述 参考文档 数据存储 数据缓存 云数据库SelectDB支持数据缓存功能，当您需要管理缓存数据并提升云数据库 SelectDB 版的访问速度时，可以根据该文档对缓存进行有效管理，并利用LRU和TTL管理策略，...
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
若您要使用DataV-Note（智能分析）对您的数据库、数据仓库（例如，RDS MySQL、MaxCompute）、本地文件数据进行分析及报告制作，则需先将相应数据创建为DataV-Note的数据源或导入至DataV-Note。本文为您介绍DataV-Note支持接入的数据类型，...
数据源用于连接各类数据库和存储服务（如MaxCompute、MySQL、OSS等），是 数据集成同步任务 的必备配置，决定任务读取（数据来源）和写入（数据去向）的数据库。数据源的作用 在数据集成任务中，数据源扮演着数据流动两端的“端点”角色：...