使用阿里云Dataphin可以实现零部署成本、零运维成本构建智能大数据研发与治理平台。使用阿里云Dataphin时，若已有的数据源部署在本地IDC机房，首先需要打通本地IDC机房与阿里云Dataphin网络。本文将介绍本地IDC机房数据源与阿里云Dataphin...
使用阿里云Dataphin可以实现零部署成本、零运维成本构建智能大数据研发与治理平台。使用阿里云Dataphin时，若已有的数据源部署在本地IDC机房，首先需要打通本地IDC机房与阿里云Dataphin网络。本文将介绍本地IDC机房数据源与阿里云Dataphin...
背景信息 Aliyun HBase即阿里云的云数据库HBase，是低成本、高扩展、云智能的大数据NoSQL。兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心能力，具备PB规模、高并发、秒级伸缩、毫秒响应、跨机房高可用、全托管、...
具体操作，请参见 数据源白名单配置 背景信息 Aliyun HBase即阿里云的云数据库HBase，是低成本、高扩展、云智能的大数据NoSQL。兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心能力，具备PB规模、高并发、秒级伸缩...
华为 FusionInsight 8.x Hadoop 华为推出的基于Apache开源社区软件进行功能增强的企业级大数据存储、查询和分析的大数据平台。亚信DP5.3 Hadoop 基于开源生态，依托电信级技术能力构建的大数据生产运营一体化支撑平台。星环ArgoDB ...
华为 FusionInsight 8.x Hadoop 华为推出的基于Apache开源社区软件进行功能增强的企业级大数据存储、查询和分析的大数据平台。亚信DP5.3 Hadoop 基于开源生态，依托电信级技术能力构建的大数据生产运营一体化支撑平台。星环ArgoDB ...
2018 DataWorks V2.0 发布 形成包含数据集成-数据开发-数据服务-应用开发的一站式大数据智能云研发平台。2019 DataWorks V3.0 发布 支持多种计算引擎任务混合编排，构建全新数据综合治理体系。2020 全面开放，构建生态 全新推出开放平台，...
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin共享模式（全托管版）全托管又称公共云多租户...
OpenSearch LLM智能问答版内置非结构化数据处理、向量模型、文本&向量检索、LLM，提供一站式开箱即用的检索增强生成（RAG）方案，支持丰富数据格式的快速导入，构建包含对话、链接、图片在内的多模态对话式搜索服务，帮助开发者快速搭建RAG...
例如，同步上下游数据产生的 数据库费用、计算引擎的 计算和存储费用，所需 网络服务费用（如高速通道、共享带宽、EIP）、数据同步智能数据处理涉及的阿里云百炼或PAI的 大模型费用 等。说明 当使用独享数据集成资源组时，公网流量费用 由...
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
发布日期 2025年3月27日 重点升级概览 智能小Q 智能小Q新增支持多个智能体模型，本期接入Dify模型。智能问数数据集预览界面展示优化。新增仪表板数据解读功能，能够智能解析报表数据、自动分析业务趋势，并一键生成关键洞察报告，助力实现...
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
通过创建HBase数据源，可以实现Dataphin读取HBase的业务数据或向HBase写入数据。本文为您介绍如何创建HBase数据源。前提条件 已购买及开通了数据服务或标签服务模块的高可用功能才可以进行数据源的主备链路配置。背景信息 HBase是用于处理...
X-数据标准基于圈选的资产通过大模型，结合语义分析，识别核心字段，可抽取码表定义、智能推荐标准映射以及智能生成标准定义。前提条件 需购买数据标准功能和X-数据标准功能才能使用X-数据标准。已配置并开启X-数据标准，详情请参见 智能...
Dataphin面向各行各业大数据建设、管理及应用诉求，一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力，包括产品、技术和方法论等，可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
数据采样可帮助业务人员更好地了解数据形态，助力SQL开发。本文为您介绍如何进行采样配置。前提条件 需开通资产运营功能才能使用采样配置。使用限制 仅支持针对字段数不超过1500个的数据表进行自动采样，超过则自动忽略不采样。权限说明 ...
分析异常数据：执行任务时根据已选质量问题结合大模型查询问题数据表的异常数据用于数据分析，仅查询当前账号具有select权限的数据表。模型切换：支持切换当前智能助手已配置的模型进行智能问答。质量问题列表：为您展示Dataphin表待处理...
智能推荐数据分类分级流程 为您介绍基于大模型能力，为数据智能推荐分类分级的执行全流程，包括配置数据范围 识别核心字段 推荐分类分级。数据范围：圈选需要智能推荐识别结果的数据范围。识别核心字段：通过大模型针对圈选的数据资产进行...
元数据支持丰富的采集源类型，如传统数据库MySQL、Oracle，大数据存储Hologres、应用系统等，可一览不同数据源类型或应用系统已创建的采集任务数、采集对象类型等信息。前提条件 需先在 管理中心 数据源管理 应用系统 创建应用系统，才能...
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
5分钟快速了解 背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效地配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错、...
Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式...
作为大模型时代的全场景数据消费的BI产品，Quick BI 支持数据源的连接和数据集的创建，对数据进行即时分析与查询。通过电子表格或仪表板功能，以拖拽的方式进行数据的可视化呈现。还可以支持自然语言交互进行数据分析提问，快速生成报表与...
CreateAiOutboundTaskBatch 创建智能外呼任务的任务批次 根据实例ID、任务ID创建智能外呼任务的任务批次，使得任务下的数据可以按批次查询。DeleteAiOutboundTask 删除智能外呼任务 根据实例ID、任务ID删除智能外呼任务。删除后，获取外呼...
动态脱敏是在不更改基础数据的情况下，仅改变最终展示的查询结果数据；脱敏规则用于管理脱敏的数据范围及具体的脱敏方式。本文为您介绍如何创建及管理动态脱敏规则。使用限制 当前仅支持对Dataphin表字段进行脱敏。权限说明 安全管理员、...
动态脱敏是在不更改基础数据的情况下，仅改变最终展示的查询结果数据；脱敏规则用于管理脱敏的数据范围及具体的脱敏方式。本文为您介绍如何创建及管理动态脱敏规则。使用限制 当前仅支持对Dataphin表字段进行脱敏。权限说明 安全管理员、...
Dataphin分析平台提供SQL查询功能，可在平台上创建SQL查询并编写SQL代码查询所需的数据，同时支持根据查询结果进行可视化统计与分析。应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持...
Dataphin分析平台提供SQL查询功能，可在平台上创建SQL查询并编写SQL代码查询所需的数据，同时支持根据查询结果进行可视化统计与分析。应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持...
元数据支持丰富的采集源类型，如传统数据库MySQL、Oracle，大数据存储 Hive、Hologres、应用系统等，可一览不同数据源类型或应用系统已创建的采集任务数、采集对象类型等信息。前提条件 需先在 管理中心 数据源管理 应用系统 创建应用系统...
X-数据安全：结合数据资产语义与样例数据，智能推荐分类分级；依据特征名称自动生成正则表达式和字段名，高效创建识别规则，降低配置成本，提升识别准确率。X-目录管理：通过智能解析资产元数据与样例数据，自动匹配业务标签与目录，批量...
X-数据安全：结合数据资产语义与样例数据，智能推荐分类分级；依据特征名称自动生成正则表达式和字段名，高效创建识别规则，降低配置成本，提升识别准确率。X-目录管理：通过智能解析资产元数据与样例数据，自动匹配业务标签与目录，批量...
通过即席查询您可以根据当前的业务情况自定义并执行查询语句和下载查询的数据。例如，当完成计算任务开发后，您可以通过即席查询验证计算任务是否符合预期。本文为您介绍如何新建即席查询并下载结果数据。前提条件 若您需下载即席查询的...
创建MySQL数据源 创建Oracle数据源 创建Microsoft SQL Server数据源 创建OceanBase数据源 创建IBM DB2数据源 创建MaxCompute数据源 创建FTP数据源 创建TDengine数据源 创建PostgreSQL数据源 创建达梦（DM）数据源 创建Amazon Redshift数据...
产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库PolarDB-X 设置白名单 云原生分布式数据库PolarDB-X（2.0）设置白...
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
通过即席查询您可以根据当前的业务情况自定义并执行查询语句和下载查询的数据。例如，当完成计算任务开发后，您可以通过即席查询验证计算任务是否符合预期。本文为您介绍如何新建即席查询并下载结果数据。背景信息 即席查询任务使用您当前...
运行记录为您保存近15天的即席查询、运行计算任务、逻辑数据表预览、派生指标冒烟测试、OpenAPI等不同对象类型的数据查询记录。本文为您介绍如何查看运行记录。查看运行记录 在Dataphin首页的顶部菜单栏，选择 研发 数据开发。在 开发 页面...
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供强大的数据预处理能力和丰富的异构数据源之间数据高速稳定的同步能力。5分钟快速了解 背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效地...