DataWorks支持多种数据源类型，覆盖了主流数据库、大数据存储及消息队列等。为保障数据安全，标准模式的工作空间支持数据源环境隔离功能。您可以为开发环境和生产环境分别配置独立的数据源。开发环境数据源仅用于节点的开发与调试，而生产...
在 云数据库 Tair（兼容 Redis）迁移完成后，您可以通过redis-full-check工具检查数据的一致性。前提条件 已完成数据迁移。已创建ECS实例，且ECS实例的系统为Linux，创建方法请参见 创建ECS实例。ECS实例可以访问迁移源端和目的端Redis实例...
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
单击左侧导航栏中的 数据源，进入 数据源列表。单击 新增数据源。在 新增数据源 对话框中，选择数据源类型为 Tablestore。填写Tablestore数据源的各配置项。参数 描述 数据源名称 数据源名称必须以字母、数字、下划线组合，且不能以数字和...
选择区域范围 在 添加基底数据 对话框的 数据版本 下拉列表中，选择您需要的数据版本内容。单击对话框地图左上角城市列表下拉框，在列表已有的城市选项中，选择您想展示的三维城市选项，地图即可快速定位导航到该城市区域。说明 城市定位后...
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
模型上下文协议（Model Context Protocol,MCP）主要为大模型和外部工具之间搭建信息传递的通道。本文为您介绍如何配置 数据管理DMS MCP，以便使用多云通用的MCP Server安全地访问 托管在DMS的数据库。背景信息 传统数据库的MCP存在如下痛点...
升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库MongoDB单个或多个数据库 使用限制 单节点实例不支持增量数据迁移与同步。数据迁移方案 您可以通过以下方式迁移MongoDB数据库的数据。重要 单节点...
UpgradeDBInstanceEngineVersion 升级RDS MySQL数据库大版本 该接口用于升级RDS MySQL的数据库大版本。UpgradeDBInstanceKernelVersion 升级RDS实例内核小版本 该接口用于升级RDS实例的内核小版本。网络与连接地址 API 标题 API概述 ...
在左侧导航栏 产品类别 下依次打开 大数据计算 数据开发与服务，然后在右侧找到 大数据开发治理平台DataWorks 的免费试用卡片，单击 立即试用。重要 免费试用抵扣包仅适用于初次使用DataWorks产品的新用户，老客户进入此页面将展示为不符合...
购买RDS PostgreSQL实例并完成必要配置（创建账号、设置白名单）后，您就可以通过数据管理DMS、pgAdmin客户端、PostgreSQL命令行工具或应用程序等方式连接RDS PostgreSQL实例，实现您的业务目标。本文介绍这些连接方法的具体操作。前提条件...
购买RDS PostgreSQL实例并完成必要配置（创建账号、设置白名单）后，您就可以通过数据管理DMS、pgAdmin客户端、PostgreSQL命令行工具或应用程序等方式连接RDS PostgreSQL实例，实现您的业务目标。本文介绍这些连接方法的具体操作。前提条件...
通过 数据安全中心DSC（Data Security Center）提供的列加密功能，可以实现对RDS PostgreSQL敏感列数据加密访问，防止非授权人员通过云平台软件或数据库连接工具直接访问敏感数据明文。该功能可确保列数据在数据库内可用但不可见，有效防御...
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转换成...
DataWorks的数据质量监控节点可通过配置数据质量监控规则，监控相关数据源表的数据质量（例如，是否存在脏数据）。同时，支持您自定义调度策略，周期性执行监控任务进行数据校验。本文为您介绍如何使用数据质量监控节点进行任务监控。背景...
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发...说明 DataWorks的数据服务API除了为DataV工具提供数据服务外，还可以应用在多种场景下，例如：BI报表工具、API市场、数据共享以及代码调用均可使用。
UpgradeDBInstanceEngineVersion 升级RDS MySQL数据库大版本 该接口用于升级RDS MySQL的数据库大版本。UpgradeDBInstanceKernelVersion 升级RDS实例内核小版本 该接口用于升级RDS实例的内核小版本。UpgradeDBInstanceMajorVersionPrecheck ...
UpgradeDBInstanceEngineVersion 升级RDS MySQL数据库大版本 该接口用于升级RDS MySQL的数据库大版本。UpgradeDBInstanceKernelVersion 升级RDS实例内核小版本 该接口用于升级RDS实例的内核小版本。UpgradeDBInstanceMajorVersionPrecheck ...
地图书签功能 新增空间筛选 新增地图绘制时的筛选和过滤功能，提升用户在大数据集中的数据管理体验。空间筛选 新增购置资源包 当项目资源包无法满足业务需求时，您可对项目资源包的配置进行升级。产品升级和降配 2023年 2023年10月 功能...
采用灵活的数据模型（如键值对、文档等）以支持快速开发和水平扩展，能够处理大量分布式数据、支持多种数据结构和快速查询性能，适合大数据和实时Web应用等领域。详情请参见 什么是NoSQL？MongoDB：一款开源的文档型数据库，以动态的模式...
虚拟 IP 变更会影响到开发者工具、数据迁移工具使用，请确保工具连接信息中使用了最新虚拟 IP 地址。在弹出框中选择相关信息：配置参数 说明 主可用区 选择切换后的主可用区，可以选择多个。主地址代理可用区 选择切换后的主地址代理可用区...
写入批次 数据刷写时的批次大小，这个可以根据实际数据量调整大小，如果导入的数据量比较大，建议该值调整为500000以上。失败重试 任务失败的重试次数，如果网络情况不理想，可以适当增大此参数。Spark 参数 Spark的自定义参数，如果需要...
Pandas：提供高性能、易用的数据结构和数据分析工具，用于处理和分析结构化数据。完整列表请以实际界面为准。生成的Shell DataWorks自动根据选择生成安装命令。例如选择 aliyun-python-sdk-core，系统将生成：pip install aliyun-python-...
创建MaxCompute数据目录 在MaxCompute数据目录管理页面，您可将已有的MaxCompute项目作为数据集添加到数据目录列表。单击MaxCompute数据目录右侧的。选择以下任一方式添加MaxCompute项目。目标源 添加方式 当前工作空间中 创建的MaxCompute...
实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB PostgreSQL版 单产品直接消费Kafka数据。...
UpgradeDBInstanceEngineVersion 升级RDS MySQL数据库大版本 该接口用于升级RDS MySQL的数据库大版本。UpgradeDBInstanceKernelVersion 升级RDS实例内核小版本 该接口用于升级RDS实例的内核小版本。UpgradeDBInstanceMajorVersionPrecheck ...
代码来源 采集口径 触发采集方式 数据开发 数据开发-创建节点并编辑代码 自动采集 数据开发（旧版）数据开发（旧版）-创建节点并编辑代码 数据分析 数据分析-新建SQL查询并编辑代码 数据服务 数据服务-新建API数据推送服务 API资产 数据...
本文为您介绍DataWorks中，数据集成、数据建模、数据开发、数据分析、数据服务等模块开发过程中涉及的相关基本概念。通用概念 工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间管理员可以为工作空间加入...
本文将指导您如何使用StarRocks跨集群数据迁移工具。该工具提供全量及增量同步功能，旨在为您解决迁移过程中源集群与目标集群的数据同步问题，确保数据一致性的同时，最大限度减少对业务运营的影响。迁移准备 在开始迁移前，请完成以下准备...
数据向量化处理节点脚本部分各参数说明如下：参数 描述 是否必填 modelProvider 大模型提供商，目前支持如下模型提供商：dataworksModelService：通过DataWorks 大模型服务 部署的模型服务。bailian：阿里云百炼平台，支持QWen模型。...
本文介绍桌面版开发工具的使用方法，包括下载和安装、登录、工作区管理和组件管理，帮助您快速使用桌面版开发工具开发组件，并进行发布。下载并安装桌面版开发工具 登录 DataV控制台。在 组件开发 模块单击 组件包，进入组件包开发管理页面...
本文介绍桌面版开发工具的使用方法，包括下载和安装、登录、工作区管理和组件管理，帮助您快速使用桌面版开发工具开发组件，并进行发布。下载并安装桌面版开发工具 登录 DataV控制台。切换至 我的资产 页签，并在左侧导航栏中单击 我的组件...
本文档旨在介绍表列表、表属性以及表数据相关信息。表列表 登录数据库并进入 SQL 开发窗口后，在左侧导航栏中单击 表 标签可查看表列表。表列表中展示当前连接的数据库中存在的表对象，可在表列表中查看该对象的结构树或右键目标对象以进行...
查看上传记录 提交上传后，若数据量较大，需要耗费一些时间，您无需在提交页面一直等待，可后续通过单击 数据上传 页面右上角的 查看上传记录 查看通过该功能上传数据的详情记录。说明 通过该页面的 查看上传记录 查询到的记录详情也包含...
备份 RDS PostgreSQL 数据 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。单击页面右上角的 备份实例 按钮，打开备份实例对话框，单击 确定。您可单击右上角的 任务中心，查看备份是否完成。如果备份任务进度为100%，表示备份...
背景信息 ODC 支持批量导出数据库对象的结构和数据。通过 ODC 导出任务可以分别导出数据库对象的结构和数据、仅导出数据或者仅导出结构。导出结构和数据：同时导出数据库对象的定义语句及其数据。仅导出数据：仅导出表/视图对象的数据。仅...
最佳方案 结论：方案三是唯一能满足大数据场景下高性能、高集成度分析需求的方案。本教程将详细介绍如何实现这一最佳方案。方案设计 我们将采用“离线IP库+自定义函数(UDF)”的方案。该方案分为三大模块：数据准备：将公开的IP地址库文件...
说明 在左侧导航栏的表列表中，单击表名右侧的更多图标，通过弹出的管理操作列表（包括 查看表结构、查看表数据、导入、导出、下载、模拟数据、打开 SQL 窗口、复制、删除 和 刷新），可快速管理和操作目标对象。支持使用关键字 SELECT ...
单击详情列表数据域后的 更多详情，即可跳转至该数据域的编辑界面，执行更多数据域相关操作。当导入状态为失败时，您需根据报错详情处理异常并重新导入。管理导入任务 在导入页面，您可查看所有已创建的导入任务概况及详细内容。区域 描述 ...
背景信息 ODC 支持批量导入数据库对象的结构和数据。通过 ODC 导入任务可以分别导入数据库对象的结构和数据、仅导入数据或者仅导入结构。导入结构和数据：同时导入数据库对象的定义语句及其数据。仅导入数据：仅导入表/视图对象的数据。仅...