类别 描述 相关文档 OpenAPI DataWorks开放平台的OpenAPI功能，为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。开放API（OpenAPI）开放...
为满足用户在Python生态中日益增长的高效大数据处理和AI开发需求，MaxCompute提供了基于Python编程接口的分布式计算框架MaxFrame，可直接使用云原生大数据服务MaxCompute海量计算资源进行分布式执行，同时与MaxCompute Notebook、镜像管理...
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
新说明 ECS资源复用版是MaxCompute按量付费类型中的一种实例规格，旨在将ECS闲置实例转换为可用的MaxCompute计算资源，该方式可以充分利用已有的计算资源，而不需要额外购买新的MaxCompute计算资源，从而在满足大数据处理需求的同时，提高...
Dev 项目支持 规范建模、数据处理 和 即席查询 功能。Prod项目支持 规范建模 和 数据处理 功能。智能编辑器：Dataphin代码编辑器不仅支持基本的代码高亮、代码补全，还支持智能代码提示、权限校验等功能。助您降低开发成本，更快的交付可靠...
Dev 项目支持 规范建模、数据处理 和 即席查询 功能。Prod项目支持 规范建模 和 数据处理 功能。智能编辑器：Dataphin代码编辑器不仅支持基本的代码高亮、代码补全，还支持智能代码提示、权限校验等功能。助您降低开发成本，更快的交付可靠...
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
基于Dev-Prod开发模式，开发环境生成的规范建模、数据处理、数据集成类任务，需要发布到生产环境进行调度。本文为您介绍如何发布任务及查看任务的发布记录。背景信息 如果您选择了Dev-Prod开发模式，提交后的任务进入 发布 模块的待发布...
基于Dev-Prod开发模式，开发环境生成的规范建模、数据处理、数据集成类任务，需要发布到生产环境进行调度。本文为您介绍如何发布任务及查看任务的发布记录。背景信息 如果您选择了Dev-Prod开发模式，提交后的任务进入 发布 模块的待发布...
功能介绍 发布中心由 待发布对象 和 发布记录 组成：在 待发布对象 页面，记录了 集成同步、规范建模 和 数据处理 模块提交的数据对象。您可以单击数据对象操作列下的 图标，发布数据对象至生产环境。在 发布记录 页面，您可以查看数据对象...
功能介绍 发布中心由 待发布对象 和 发布记录 组成：在 待发布对象 页面，记录了 集成同步、规范建模 和 数据处理 模块提交的数据对象。您可以单击数据对象操作列下的 图标，发布数据对象至生产环境。在 发布记录 页面，您可以查看数据对象...
随着人工智能的发展，许多业务和数据分析可以基于大语言模型（LLM）进行广泛的应用，而数据处理是LLM开发尤为重要的一环，数据质量的好坏直接影响大模型训练、推理的最终效果。相较于昂贵的GPU资源，MaxCompute的海量弹性CPU资源能够成为...
DLF与多个阿里云大数据计算引擎无缝对接，打破数据孤岛，帮助用户迅速实现云原生数据湖及OpenLake解决方案的构建与管理。该平台能够实现元数据的统一、湖表格式的统一以及数据存储的统一，显著简化客户在数据湖构建和管理过程中的运维工作...
基于MaxCompute湖仓一体的外部项目的数据进行规范建模和数据处理 创建MaxCompute计算源并绑定到Dataphin项目中后，规范建模可基于外部项目中的来源表创建逻辑表，MaxCompute SQL任务可用映射的内部项目的计算资源来执行，并支持读写外部...
基于MaxCompute湖仓一体的外部项目的数据进行规范建模和数据处理 创建MaxCompute计算源并绑定到Dataphin项目中后，规范建模可基于外部项目中的来源表创建逻辑表，MaxCompute SQL任务可用映射的内部项目的计算资源来执行，并支持读写外部...
数据处理方式 描述 场景示例 拉取到本地处理（不推荐，易OOM）例如DataWorks中的PyODPS节点，内置了PyODPS包以及必要的Python环境，是一个资源非常受限的客户端运行容器，并不使用MaxCompute计算资源，有较强的内存限制。PyODPS提供了 to_...
大数据量处理：支持快速处理较大规模的数据（十万条以上数据）。Spark SQL语法：基于Spark 3.1.2版本部署，提供该版本所有语法特性和原生函数。原生函数包括聚合函数、窗口函数、数组函数、Map函数、日期和时间处理函数、JSON处理函数等。...
2015年，欧派全面启动“欧派制造2025”战略，融合互联网、大数据与人工智能制造，通过数字化打通销售、研发、生产制造、物流运输等全套环节，打造以MTDS终端设计营销服务管理系统、WCC智能拆单系统、MSCS生产调度控制系统、APS+XMES柔性...
概述 DataWorks数据建模支持数仓规划设计、制定并沉淀企业数据标准、维度建模、数据指标定义，通过使用DataWorks数据建模，您可以将建模设计产出的维度表、明细表和汇总表物化到计算引擎中并进一步应用。数仓规划 使用DataWorks进行数据...
脚本编辑完成，通过执行脚本生成联邦建模数据、预处理规则和联邦模型。前提条件 已经按照脚本类型，为脚本文件配置了输入数据和输出数据，更多信息请参见 脚本输入/输出配置说明。操作步骤 脚本文件编辑完成后，单击页面右上方的 执行，...
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
大模型RAG对话系统 5分钟使用EAS一键部署LLM大语言模型应用 5分钟使用EAS一键部署Stable Diffusion实现文生图能力 5分钟操作EAS一键部署通义千问模型 LLM大语言模型数据处理-Wikipedia（web text数据）LLM大语言模型数据处理-arXiv（论文...
StarRocks异步物化视图具备以下能力：简化数仓架构：由于StarRocks可以提供一站式数据治理体验，您无需维护其他数据处理系统或组件，节省了用于维护这些系统的人力和物理资源。简化建模体验：任何只具备基本SQL知识的数据分析师都可以使用...
业务调研、数据量化、数学建模 在使用优化技术的时候，需要更详细的调研业务的需求，整理相关的业务逻辑和数据，并量化表示它。然后采用数学规划的方法进行数学建模。此部分细节较多，可在案例 排产排程03 中查阅细节，此处我们仅列出数学...
公司主营OpenRIS灾害风险大数据平台提供了海量灾害数据的快速地图展示、统计查询、切割下载、上传数据定制化在线分析等功能，实现了灾害数据与模型一体化云服务。在数据与系统上云过程前，遇到了如下挑战：长期积累的时空数据类型多、数据...
企业依赖大数据平台快速地从海量数据中获得洞察从而更及时和有效地决策的同时，也对处理数据的新鲜度和处理本身的实时性要求越来越高。大数据平台普遍采用离线、实时、流三种引擎组合的方式以满足用户实时性和高性价比的需求。但是很多业务...
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。...数据展现与分享：数据提取成功后，可以通过报表、地理信息系统等多种展现方式，展示与分享大数据分析、处理后的成果。
业务调研、数据量化、数学建模 在使用优化技术的时候，需要更详细的调研业务的需求，整理相关的业务逻辑和数据，并量化表示它。然后采用数学规划的方法进行数学建模。此部分细节较多，可在案例 人员排班 中查阅细节，此处我们仅列出数学...
请求地理边界geojson数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 https://api.test ，传到 请求地理边界geojson数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如自定义区域下钻层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
为满足用户基于MaxCompute进行大规模数据处理、分析、挖掘及模型训练的需求，MaxCompute提供了一套Python开发生态，让用户通过统一的Python编程接口一站式、高效地完成数据处理、加工及挖掘工作。发展路径 MaxCompute提供的Python开发生态...
请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如水波图配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。更新组件...
动作 动作 说明 请求地理边界geojson数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 http://api.test ，传到 请求地理边界geojson数据接口 动作的数据为 { id:'1'}，则...
请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如自定义区域下钻层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。...
请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如自定义区域下钻层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。...