BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...
传统数仓解决方案 数据仓库的处理流程通常包括以下步骤：数据抽取（Extraction）：从各个数据源中抽取需要的数据，包括数据库、文件、Web服务等，并进行清洗、转换和过滤。数据转换（Transformation）：对抽取的数据进行转换，使其符合数据...
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
新增 支持大规模Oracle与应用的迁移蓝图规划与评估，可帮助客户梳理复杂的数据库与大规模应用的整体关联关系、评估整体兼容性、评估应用和数据库的整体改造点及改造方案、并针对复杂场景提供分批改造建议、提供针对各应用的sql兼容性及改造...
方案介绍 实现互联网、电商行业离线大数据分析的流程如下：同步用户订单等数据至MaxCompute。通过DataWorks对原始数据进行处理，并形成开放API。以API的形式通过DataV在大屏上展示结果数据。方案优势 大规模存储：超大规模存储且自动扩容，...
右键单击名称为 logo 的 串行数据处理 节点，进入右侧 配置面板，选择面板内 其他配置 栏下方的处理方法，单击右侧箭头打开脚本编辑区域。在脚本编辑区域，输入代码，完成后单击 保存。当前处理方法的示例代码如下。return[{"img":data....
DataWorks通过OpenEvent能力为您提供消息订阅能力，您可以将服务程序注册为DataWorks的扩展程序，通过扩展程序来捕捉并响应订阅的事件消息，以此实现对特定事件进行消息通知与流程管控。本文以“实时阻断或审批超过1000条数据的下载行为”...
工作流程图如下：增量重聚簇（Incremental Reclustering）面临挑战 Clustering是数据领域最常见的数据优化手段之一，Cluster Key是用户指定的表属性，通过排序并连续存储用户指定的数据字段，当用户查询Cluster Key时，可以通过下推、裁剪...
在进行数据发布前，可通过检查项对数据开发功能相关的约束进行检查，当检查出不符合约束规范的内容时，系统会生成影响开发流程正常执行的问题事件，您可基于该事件处理暴露的问题，以保障数据开发流程可以正常执行。本文为您介绍如何查看并...
5分钟快速了解 背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效地配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错、...
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
针对这些问题近几年大数据开源生态也推出了各种解决方案，最流行的就是Spark/Flink/Presto开源数据处理引擎，深度集成开源数据湖Hudi、Delta Lake和Iceberg三剑客，践行统一的计算引擎和统一的数据存储思想来综合提供解决方案，解决Lambda...
MaxFrame是阿里云MaxCompute为了满足用户在Python生态中日益增长的高效大数据处理和AI开发需求，提供的基于Python编程接口的分布式计算框架。您可直接利用MaxCompute的海量计算资源及数据通过MaxFrame进行TB/PB级数据处理、可视化数据探索...
X-数据安全针对圈选的数据表，基于大模型进行语义分析，识别核心字段，并智能推荐对应的分类分级，您可对推荐的识别结果执行应用、弃用等操作。本文为您介绍如何使用X-数据安全。前提条件 已配置并开启X-数据安全，详情请参见 智能助手。...
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...
OceanBase 数据库企业版 V4.3.5 OceanBase 数据库企业版 V4.3.3 OceanBase 数据库企业版 V4.2.5 OceanBase 数据库企业版 V4.2.1 OceanBase 数据库企业版 V3.2.4 OceanBase 数据库企业版 V3.2.3 V4.3.5 版本数据库参考文档 模式 文档 简介 ...
本文介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
本文介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
自动化数据处理与嵌入 提供一站式的数据处理能力。当您创建数据集并配置Supabase Storage作为存储时，RAG Agent会自动扫描并同步文件更新，并完成后续的智能分块（Chunking）、向量嵌入以及知识图谱构建等所有流程，极大简化了数据接入流程...
数据同步主要内容包括数据源配置、获取物理表、创建同步任务三方面。本文介绍数据同步的操作流程。流程图 流程说明 流程 说明 配置数据源 配置数据同步的源端和目标端。数据同步的源端，是数据同步任务的起点。数据同步目标端是同步的终点...
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。本文示例新建名为 rds_workshop_...
MaxCompute预置了多种函数，可满足大部分数据处理需求。本文介绍MaxCompute提供的函数类型及函数使用相关说明。函数类型 函数类型 说明 日期与时间函数 支持处理DATE、DATETIME、TIMESTAMP等日期类型数据，实现加减日期、计算日期差值、...
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
当您需要进行数据库备份、导出数据库表进行数据分析等操作时，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB for...
5分钟快速了解 背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效地配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错、...
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。本文档旨在介绍如何在工单中，根据数据库中存在...
开发人员根据需求将代码发布上线后，还需要及时处理数据、程序、调度、监控告警等的异常事件，保障数据产出时效、程序高效运行和生产稳定性。背景信息 数据开发人员主要需要处理以下事项：程序异常处理、性能优化。调度异常处理。数据质量...
在分布式数据库中，同样也可以采用这种模式，将事务集中在一个节点处理，而这限制了事务处理的扩展能力，系统能处理的事务操作的数据范围受限于单个节点所能访问的数据范围，事务处理能力也受限于单个节点的处理能力。
右键单击名称为 小学位置判断 的 串行数据处理 节点，进入右侧 配置面板，选择面板内 其他配置 栏下方的处理方法，单击右侧箭头打开脚本编辑区域。在脚本编辑区域，输入代码，完成后单击 保存。当前处理方法的示例代码如下。if(data.id=1){...
图数据库（Graph Database，简称GDB）是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言，可以帮您快速构建基于高度连接的数据集的应用程序。
概念介绍 数据脱敏：在数据处理和数据存储过程中，通过一定的算法和技术，将敏感数据进行加工处理、模糊化或替换，使得数据无法识别或难以还原，从而达到保护数据安全、防止数据泄露的目的。动态脱敏：对敏感数据进行实时的脱敏处理，只有...
多实例模式&单数据库模式 createDataChangeOrder 创建数据变更工单，用于提交 DDL/DML 操作申请 多实例模式&单数据库模式 getOrderInfo 查询工单的详细信息，包括状态、审批流程、执行日志等 多实例模式&单数据库模式 submitOrderApproval ...
在ChatBI中进行交互式会话之前，需要通过数据集来圈定开展分析的数据范围。数据集可以是目标数据源中的数据表，也可以是本地文件。准备工作 已在使用ChatBI功能的对应地域创建 Serverless资源组。适用范围 数据源类型的数据集，仅支持选择...
DataWorks 内置了开箱即用的公共数据集数据源，帮助您零配置快速体验单表离线数据同步。本文为您介绍DataWorks的公共数据集数据同步能力支持情况。支持的数据集详情及地域 支持的公共数据集列表以及数据集的详情参见 DataWorks Gallery 云...
支持的数据源及元数据采集方式 数据分析 连接数据库进行数据处理、分析、加工及可视化操作。支持的数据源 数据服务 基于数据源表结构生成API服务，提供数据查询接口。生成API支持的数据源 数据源环境隔离 为保障数据安全，标准模式的工作...
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
设计工作包含数据探查和系分设计两部分：数据探查旨在了解来源数据的数据形态，例如数据质量、数据分布等。结合业务场景，帮助分析和判断需求实现的可行性以及找出潜在的数据问题和风险。系分设计则包括表设计、Mapping设计和调度设计等最...
当数据量大时，建议使用PyODPS DataFrame（从MaxCompute表创建）和MaxCompute SQL来处理数据，以替代本地数据处理这种比较低效的方式。示例代码 将一份JSON串数据按Key-Value对展开成一行，示例代码如下。本地测试，通过 head()方法返回...
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...