DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
电商网站智能推荐基于阿里巴巴的大数据和人工智能技术，结合在电商行业的多年积累，为开发者提供个性化推荐服务，提升商品的购买率和转化率。概述 本实践以电商网站为例，通过日志服务采集日志，将RDS作为后端数据服务、MaxCompute作为数据...
MaxCompute作为整个大数据开发过程中的离线计算引擎。Dataphin则基于OneData方法论——OneModel、OneID、OneService，囊括了数据建模研发、运维中心、监控报警、数据资产等在内的一系列功能。icmsDocProps={'productMethod':'created','...
进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。进入数据开发后，您可根据下文流程创建所需任务。开发流程 数据开发任务的通用开发...
DataWorks是一站式智能大数据开发治理平台，适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、AnalyticDB、StarRocks、PAI 等数十种大数据和AI计算服务，为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、...
数据开发与调度：大数据开发治理平台 DataWorks数据开发（必选）、DataWorks运维中心（必选），基础版DataWorks已包含数据开发和运维中心功能。数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据...
案例配套文档（与人工智能平台PAI配合使用）：视频个性化推荐（协同过滤）。说明 您可修改案例数据生成自己的物品推荐列表。拉链表实现 DataWorks MaxCompute 数据开发 运维中心 基于DataWorks on MaxCompute实现拉链存储场景，使用...
前提条件 已创建 DataWorks数据开发（Data Studio）（新版）工作空间 与 人工智能平台 PAI工作空间。创建工作空间 时，需勾选 创建同名AI工作空间，系统将自动创建与DataWorks同名的PAI工作空间并绑定。已有空间若要开启 调度PAI算法任务，...
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...
平台工具层（灵骏智算服务&人工智能框架）：AI框架：支持Alink、TensorFlow、PyTorch、Megatron、DeepSpeed及RLHF等主流框架。优化与加速：提供 数据集加速（DatasetAcc）、训练加速（TorchAcc）、并行训练（EPL）、推理加速（BladeLLM）、...
多引擎开发：DataWorks Notebook拥有SQL Cell功能，支持多种大数据引擎的SQL开发与分析。交互式分析：交互式SQL查询：通过Python编写Widgets组件，通过在组件中直观选择或设置参数的取值，后续可以进一步在SQL中引用相同参数及取值，从而...
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
Dataphin面向各行各业大数据建设、管理及应用诉求，一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力，包括产品、技术和方法论等，可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...
X-编码助手是语法校验/自动生成与性能优化，几大模块协同运作，构建覆盖数据交互、数据开发、数据运维的一体化智能服务体系。前提条件 需满足以下条件才能使用对应的智能化功能。需开通智能研发版才能使用X-数据工程。需开通基础研发版才能...
X-编码助手是语法校验/自动生成与性能优化，几大模块协同运作，构建覆盖数据交互、数据开发、数据运维的一体化智能服务体系。前提条件 需满足以下条件才能使用对应的智能化功能。需开通智能研发版才能使用X-数据工程。需开通基础研发版才能...
Notebook可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有工具可以替您...
创建Hologres数据源 数据开发、数据分析环境准备 基于DataWorks进行Hologres调度任务前，您需先将Hologres实例创建为工作空间的数据源并绑定至数据开发（DataStudio）。绑定后，才可使用该数据源进行相关数据开发、数据分析、周期性调度...
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
创建MaxCompute数据源 数据开发、数据分析环境准备 基于DataWorks进行MaxCompute调度任务前，您需先将MaxCompute项目创建为工作空间的数据源并绑定至数据开发（DataStudio）。绑定后，才可使用该数据源进行相关数据开发、数据分析、周期性...
平台简介 人工智能平台PAI（Platform of Artificial Intelligence）是阿里云提供的一站式AI研发平台，为您提供数据标注、模型开发、模型训练、模型部署的AI全链路研发服务，其包含如下核心功能模块：核心功能模块 功能描述 使用场景 快速...
DataWorks 提供一站式大数据开发与治理平台，涵盖数据集成、开发、建模、分析、质量、服务、地图及开放能力，支持全链路数据处理与企业级数据中台建设。本文为您介绍DataWorks的核心功能特性。数据集成：全领域数据汇聚 DataWorks的数据...
2025-06-11 所有地域 所有用户 使用函数表达式为目标表字段赋值 PAIFlow PAI Flow提供端到端机器学习流程开发能力，可实现与人工智能平台 PAI 的 可视化建模 Desiger 相同的工作流功能，并能周期性调度工作流。2025-06-10 华东1（杭州）、...
新增和使用Serverless资源组 二、开发环境准备 您需先在DataWorks工作空间注册 CDP或CDH 集群，才可在数据开发（DataStudio）进行数据开发工作，并以工作空间为单位管理空间成员，以便进行协同开发。类别 描述 相关文档 数据同步环境准备 ...
衡量AI辅助编程带来的收益 在AIGC（人工智能生成内容）时代，大模型对软件编程领域产生了显著影响。AI智能编码工具如 通义灵码，通过辅助编程，不仅提升了开发效率，还改善了代码质量和开发者体验。提升编码效率：AI工具自动生成代码片段并...
背景信息 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据计算 上，单击 数据开发与服务 列下的 智能数据建设与治理Dataphin。在Dataphin产品详情页的 产品版本与功能特性，单击 去购买，进入Dataphin购买页面。在购买页面，...
当数据分析师或数据开发人员新人入职时，如果仅通过人工授权，则工作量巨大，且可能出现错漏。此时，管理员可通过定义“DataWorks自定角色+MaxCompute Role”及DataWorks OpenAPI来进行自动化授权，实现人员入职成功后即可拥有最基本的数据...
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据计算 上，单击 数据开发和服务 列下的 智能数据建设与治理Dataphin。在Dataphin产品详情页，单击 管理控制台/立即开通（半托管版），进入Dataphin管理控制台页面。在...
支持实时计算任务列表，快速批量操作 Dataphin集成任务支持自定义FTP标记完成文件内容 Dataphin实现MaxCompute外表数据快速批量同步至ADB MySQL 数据开发 Dataphin中基于Flink的实时研发 开源Flink的计算源及项目配置 实时代码模板实现多链...
人工智能平台 PAI 为开发者提供从数据标注、模型开发到训练部署的全链路AI研发服务。其 Model Gallery（MaaS组件）集成多领域当前最佳模型（覆盖LLM、AIGC、CV、NLP等），通过低代码/零代码界面支持模型训练、压缩、评测、部署全流程，显著...
背景介绍 模型评测是大语言模型（LLM）开发与部署中的关键环节，用于检验模型表现是否符合预期，指导大语言模型选型，后续模型调用链路调优，并测试模型服务的效果可靠性。常见的模型评测方式有以下几种：指标评测 基于评测指标（如BLEU、...
为保证您可以顺利完成本次实验，请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和 人工智能平台 PAI。前提条件 注册阿里云账号，详情请参见 注册阿里云账号。实名认证，详情请参见 个人实名认证 背景信息 本次...
AI 与大语言模型(LLM)的原生集成：新架构需具备原生能力，将机器学习、深度学习及自然语言处理等AI能力深度集成到数据开发全流程中。解决现有架构的技术挑战 单体式与批处理为核心的设计局限：原有架构基于早期单体式设计，核心面向批处理...
数据开发更简单：平台提供的各种工具产品能够极大的简化数据开发过程，缩短数据治理周期，降低数据治理成本。通过标准化、精细化、规格化的智能数据生产流程，完成流水线式的数据生产作业，提升数据资源生产效率、消除数据供应品质差异。...
安全亮点功能-数据传输的加解密 加解密是通过数据学算法将数据在明文和密文之间进行转换，可保障数据在传输和存储过程中避免泄露和篡改的风险，Dataphin数据集成加解密功能，通过自动化加密解密流程与灵活配置能力，有效解决数据传输中的...
安全亮点功能-数据传输的加解密 加解密是通过数据学算法将数据在明文和密文之间进行转换，可保障数据在传输和存储过程中避免泄露和篡改的风险，Dataphin数据集成加解密功能，通过自动化加密解密流程与灵活配置能力，有效解决数据传输中的...
安全亮点功能-数据传输的加解密 加解密是通过数据学算法将数据在明文和密文之间进行转换，可保障数据在传输和存储过程中避免泄露和篡改的风险，Dataphin数据集成加解密功能，通过自动化加密解密流程与灵活配置能力，有效解决数据传输中的...
数据开发场景费用 进行 数据开发 与运维可能产生的费用如下：DataWorks侧收费（费用在DataWorks相关账单中）资源组费用：节点开发和个人开发环境使用依赖资源组进行。根据资源组不同，将产生 Serverless资源组费用 或 独享调度资源组费用。...