您可在DataWorks中注册CDH及CDP集群，基于业务需求进行相关任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理操作。使用限制 仅支持使用Serverless资源组（推荐）或旧版独享调度资源组运行CDH或CDP集群任务。说明...
背景信息 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...
Dataphin提供数据开发、治理、运营一体化全链路的超级X智能解决方案，当前支持X-数据工程、X-分析、X-运维助手及X-编码助手（Copilot）等核心能力，提供全链路数据服务。X-数据工程根据自然语言，自动生成多种任务（集成任务、数据模型和...
Dataphin提供数据开发、治理、运营一体化全链路的超级X智能解决方案，当前支持X-数据工程、X-分析、X-运维助手及X-编码助手（Copilot）等核心能力，提供全链路数据服务。X-数据工程根据自然语言，自动生成多种任务（集成任务、数据模型和...
DataWorks全新推出了实时数据开发治理功能，通过集成数据治理插件和LSP（Language Server Protocol）技术，在代码保存时可触发智能检测，并提供针对性的修复建议。开发者可以选择一键确认修复，快速解决问题。该功能依托预设的治理规则库和...
支持实时计算任务列表，快速批量操作 Dataphin集成任务支持自定义FTP标记完成文件内容 Dataphin实现MaxCompute外表数据快速批量同步至ADB MySQL 数据开发 Dataphin中基于Flink的实时研发 开源Flink的计算源及项目配置 实时代码模板实现多链...
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据计算 上，单击 数据开发和服务 列下的 智能数据建设与治理Dataphin。在Dataphin产品详情页，单击 管理控制台/立即开通（半托管版），进入Dataphin管理控制台页面。在...
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据计算 上，单击 数据开发与服务 列下的 智能数据建设与治理Dataphin。在Dataphin产品详情页的 产品版本与功能特性，单击 去购买，进入Dataphin购买页面。在购买页面，...
当数据分析师或数据开发人员新人入职时，如果仅通过人工授权，则工作量巨大，且可能出现错漏。此时，管理员可通过定义“DataWorks自定角色+MaxCompute Role”及DataWorks OpenAPI来进行自动化授权，实现人员入职成功后即可拥有最基本的数据...
高效：裁判员模型无需人工标记数据，只需输入问题和模型回答，即可自主完成对大语言模型的分析与评价，大幅提高了评测的效率。易用：提供了控制台创建评测任务、API调用、SDK调用等多种使用方式，既满足了用户快速上手体验，也便于开发者...
人工智能平台 PAI 功能集 功能 功能描述 参考文档 AI计算资源管理 灵骏智算资源 灵骏智算资源是阿里云PAI提供的大规模高密度计算资源服务，为您提供高性能AI训练、高性能计算所需的异构计算算力服务，可用于PAI的训练任务。灵骏智算资源...
一、功能概述 什么是DataWorks Copilot DataWorks Copilot，作为一站式智能数据开发治理平台 DataWorks 的智能助手，借助AI推理和自然语言处理能力，在代码开发场景下，帮助开发者根据自然语言快速完成多种代码相关操作，包括 SQL/Python ...
人工智能平台 PAI 为开发者提供从数据标注、模型开发到训练部署的全链路AI研发服务。其 Model Gallery（MaaS组件）集成多领域当前最佳模型（覆盖LLM、AIGC、CV、NLP等），通过低代码/零代码界面支持模型训练、压缩、评测、部署全流程，显著...
运维中心是一站式大数据运维监控平台，支持实时查看任务运行状态，提供智能诊断、重跑等运维操作，帮助您对异常任务进行基础运维；提供智能基线，帮助您解决重要任务产出时间不可控，海量任务监控难的问题，保障任务产出的时效性；提供引擎...
研发 功能 演示 描述 数据传输的加解密 安全亮点功能-数据传输的加解密 加解密是通过数据学算法将数据在明文和密文之间进行转换，可保障数据在传输和存储过程中避免泄露和篡改的风险，Dataphin数据集成加解密功能，通过自动化加密解密流程...
研发 功能 演示 描述 数据传输的加解密 安全亮点功能-数据传输的加解密 加解密是通过数据学算法将数据在明文和密文之间进行转换，可保障数据在传输和存储过程中避免泄露和篡改的风险，Dataphin数据集成加解密功能，通过自动化加密解密流程...
研发 功能 演示 描述 数据传输的加解密 安全亮点功能-数据传输的加解密 加解密是通过数据学算法将数据在明文和密文之间进行转换，可保障数据在传输和存储过程中避免泄露和篡改的风险，Dataphin数据集成加解密功能，通过自动化加密解密流程...
高效完成数据加工与运维：通过数据同步、数据加工、智能标签、任务运维，提高数据开发和运维的工作效率。实现数据质量闭环控制：通过数据质量评估，全面了解数据质量情况，及时对数据质量异常做出干预。数据管理方 资产管理 管理数据资产 ...
其中：工作流数据存储 配置为OSS Bucket路径，用于存储工作流运行中产出的临时数据和模型。单击 确定。您需要等待大约十秒钟，工作流可以创建成功。在工作流列表，双击 基于外卖评论的舆情风控 工作流，进入工作流。系统根据预置的模板，...
标准映射基于圈选的数据表通过大模型结合语义分析，识别核心字段，从而智能推荐标准映射，您可对映射关系执行应用、弃用等操作。本文为您介绍如何配置智能推荐标准映射。前提条件 需购买数据标准功能和X-数据标准功能才能使用X-数据标准。...
如何创建工作流 实操演示课程 如何查看logview并进行日志分析 实操演示课程 如何在PAI-EAS定时自动部署模型服务 实操演示课程 在PAI-EAS中通过VPC高速直连调用 实操演示课程 通过MaxCompute和OSS上传数据 实操演示课程 阿里云人工智能平台...
解决方案 DataWorks 联合 MaxCompute、Hologres 等云原生大数据引擎，提供一套 湖仓一体、流批融合 的一站式智能数据平台解决方案，帮助企业打破数据处理的时效壁垒。统一的数据接入与分层 通过 DataWorks 数据集成(Data Integration)，...
数据集成 数据开发 简单开发应用教程 本教程将指引您完成一个完整的数据开发和周期调度运维操作，适用于各种数据开发场景。MaxCompute 数据集成 数据开发 运维中心 数据分析与可视化 相关教程 说明 教程使用的计算引擎 涉及模块 使用公开...
在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。5分钟快速了解 功能介绍 数仓规划包括逻辑空间与物理空间的全局架构，以实现业务划分、资源管控、项目管理等目的：逻辑空间：基于业务...
本次升级旨在构建一个面向未来的、高性能、高可用的数据智能开发平台，为用户提供更高效、更智能、更统一的数据开发与治理体验。重要 如升级过程中遇到问题，可在 DataWorks数据开发升级到新版专属答疑群 获取技术支持。一、升级背景 ...
虽然人工智能和机器视觉等检测技术逐渐成熟，但人工目视的方法仍占据较大比重，导致了生产自动化程度低、生产效率低、难以形成精益化生产等问题。针对该问题，阿里云 PAI 借助人工智能算法，提出了如下解决方案。解决方案 基于智能标注...
以适配不同场景、不同数据体量客户的诉求：智能研发版：支持离线研发和实时研发场景，可创建生产开发隔离的双环境项目，提供智能建模、逻辑运维等特色功能，适用于数据量丰富、权限管控严格、具备专业大数据开发团队的企业用户。...
多引擎开发：DataWorks Notebook拥有SQL Cell功能，支持多种大数据引擎的SQL开发与分析。交互式分析：交互式SQL查询：通过Python编写Widgets组件，通过在组件中直观选择或设置参数的取值，后续可以进一步在SQL中引用相同参数及取值，从而...
版本适用场景 智能研发版（离线&实时）：支持离线研发和实时研发场景，可创建生产开发隔离的双环境项目，提供智能建模、逻辑运维等特色功能，适用于数据量丰富、权限管控严格、具备专业大数据开发团队的企业用户。购买数量 仅阿里云账号...
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据 上，单击 数据开发和治理 列下的 Dataphin。在Dataphin产品详情页，单击 产品控制台，进入Dataphin管理控制台页面。在Dataphin管理控制台页面，单击已开通版本详情后...
说明 费用涉及模块：数据集成、数据开发和运维中心模块。非DataWorks侧收费（费用不在DataWorks相关账单中）运行数据集成任务时，部分可能由 同步任务相关配置 产生的费用不在DataWorks收取。例如，同步上下游数据产生的 数据库费用、计算...
在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。5分钟快速了解 功能介绍 数仓规划包括逻辑空间与物理空间的全局架构，以实现业务划分、资源管控、项目管理等目的：逻辑空间：基于业务...
智能媒体服务提供了音/视频审核功能，包括智能审核和人工审核，可以对音频、视频等媒体文件内容进行多维度审核，帮助您检测媒体文件中的风险或违规内容，确保媒资的合规性。通过阅读本文，您可以了解音视频审核功能的使用方法。前提条件 ...
适用于各引擎 数据建模 零售电商数据建模 DataWorks智能数据建模产品内置了零售电子商务数据仓库行业模型模板，您可以一键导入模板，本教程结合零售电子商务业务背景以及模型构建核心步骤来帮助您了解维度建模理论和智能数据建模产品。...
大数据计算引擎与存储费用（独立计费）：DataWorks是一个大数据开发与调度平台，它本身不执行核心的计算和存储。当您通过DataWorks提交一个SQL任务时，实际执行该任务的是底层的计算引擎（如MaxCompute、Hologres、E-MapReduce等），产生的...
人工智能平台PAI的 容器训练DLC，用于分布式执行训练任务。DataWorks为您提供了PAI DLC节点，您可以直接通过该节点载入DLC任务并配置调度依赖，实现DLC任务的周期性调度运行。前提条件 已授权DataWorks可访问人工智能平台PAI。您可进入 ...
这种转换方法在大数据处理和分布式计算环境中尤为常用，能够提高数据查询和处理的效率。使用限制 支持的计算引擎为MaxCompute和Flink。算法简介 将数据格式从多列转换为Key-Value格式，用户可以指定Key之间的分隔符和Key与Value之间的分隔...
兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心能力，具备PB规模、高并发、秒级伸缩、毫秒响应、跨机房高可用、全托管、全球分布等企业能力。如果您使用的是云数据库HBase，在对接Dataphin进行数据开发时，您需要...
DataWorks 是阿里云提供的一站式大数据开发与治理平台，旨在帮助用户解决从数据接入、处理、治理到服务化的全链路数据问题。它通过一系列高度协同的功能模块，将复杂的数据工程流程化、可视化，显著降低了大数据开发的门槛。本文将为您逐一...
兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心能力，具备PB规模、高并发、秒级伸缩、毫秒响应、跨机房高可用、全托管、全球分布等企业能力。如果您使用的是云数据库HBase，在对接Dataphin进行数据开发时，您需要...