您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 旧版数据开发...
根据需求选择工作空间模式（推荐使用 标准模式 以支持完整的开发、测试、生产环境隔离）。详情请参见 创建工作空间。2、配置并绑定资源组 创建/购买资源组：在控制台左侧导航栏进入 资源组 列表，根据任务负载需求购买合适的资源组（例如，...
DataWorks提供的EMR（E-MapReduce）Hive节点支持云端大规模数据的批处理分析，能够操作存储在分布式系统中的数据，简化大数据处理流程并提高开发效率。在EMR Hive节点中，您可以使用类SQL语句读取、写入和管理大数据集，从而高效地完成海量...
指标名称 字段来源 业务规则 系统架构分析 概括当前项目数据开发总体的流程和范围。测试过程管理 测试版本控制 代码从测试环境发布至开发环境后，需描述此部分。项目交付测试通过后，每天上午9点、下午3点接受开发提交的新版本，其他时间...
如果想要像使用其他 SDK 一样简单地接入并使用 mPaaS，推荐使用原生 AAR 接入方式。原生 AAR 接入方式是指采用原生 Android AAR 打包方案，更贴近 Android 开发者的技术栈。开发者无需了解 mPaaS 相关的打包知识，通过 mPaaS Android ...
创建RAM用户 为避免产生项目数据安全性问题，推荐您创建RAM用户并交由其他用户使用，实现对参与项目的人员权限进行严格把控。本章节为您介绍如何创建RAM用户。重要 前提条件 已创建阿里云账号。更多创建阿里云账号操作，请参见 准备阿里云...
使用新版数据开发（Data Studio）：本教程是否开启均可进行，表示是否参加使用新版数据开发功能（推荐开启）。若未看到该选项，表示默认开启。说明 新版数据开发提供了实现面向多引擎协同的数据开发、可视化工作流编排和数据目录管理等能力...
如果想要像使用其他 SDK 一样简单地接入并使用 mPaaS，推荐使用原生 AAR 接入方式。原生 AAR 接入方式是指采用原生 Android AAR 打包方案，更贴近 Android 开发者的技术栈。开发者无需了解 mPaaS 相关的打包知识，通过 mPaaS Android ...
现代IM系统中的消息系统架构-架构篇 现代IM系统中的消息系统架构-模型篇 现代IM系统中的消息系统架构-实现篇 Tablestore Timeline：轻松构建千万级IM和Feed流系统 Feed流系统设计-总纲 如何打造千万级Feed流系统 如何优化高并发IM系统架构 ...
重要 请确保挂载点的VPC和资源组的VPC网络已连通：推荐NAS挂载点与资源组使用同一VPC，确保网络连通。其他场景，请参考 网络连通方案概述 将NAS挂载点的VPC与资源组配置的VPC网络打通。文件系统路径 指定需要挂载的NAS文件夹路径，默认为根...
DataWorks 提供一站式大数据开发与治理平台，涵盖数据集成、开发、建模、分析、质量、服务、地图及开放能力，支持全链路数据处理与企业级数据中台建设。本文为您介绍DataWorks的核心功能特性。数据集成：全领域数据汇聚 DataWorks的数据...
重要 为保障移动开发平台 mPaaS 的产品/服务功能实现与安全稳定运行的目的，我们可能会申请或使用操作系统的相关权限。为保障您的知情权，我们通过下列列表将产品/服务可能申请或使用的相关操作系统权限进行展示。因操作系统的不同，权限...
新零售行业：大润发云上数据中台建设 客户简介 为了快速数字化转型，拥抱新零售，大润发计划两年内将IT系统全面迁移到阿里云上，不再自建IDC。同时与阿里云合作启动数据中台项目，可以帮助大润发降低TCO的同时，更好的依托云上生态，实现...
DataWorks新版数据开发中的Flink SQL Streaming节点支持使用标准SQL语句定义实时任务处理逻辑。Flink SQL Streaming具有易用性、丰富的SQL支持、强大的状态管理及容错能力，兼容事件时间和处理时间，并可灵活扩展。该节点易于与Kafka、HDFS...
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建CDH集群，并注册至DataWorks。创建CDH相关节点并开发CDH任务前，您需要先将CDH集群注册至...
组合模式二：实时数据开发 此组合适用于需要低延迟数据反馈的场景，如实时大屏、实时推荐、实时风控等。核心目标：对流式数据进行实时处理与分析，实现秒级或分钟级的业务洞察。模块组合：实现方式：数据集成：配置实时同步任务，将用户...
旧版数据开发使用镜像 进入数据开发：登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。配置资源组：在数据开发功能中找到待测试三方包的 任务节点，...
域名已在非阿里云备案系统中备案，开发应用绑定域名时，是否支持在阿里云备案系统中再次备案？不支持在阿里云备案系统中再次备案。移动应用发布必须绑定域名，但是域名备案比较麻烦，可以直接下载APK到本地使用吗？IoT Studio开发的移动...
在 Windows 操作系统中搭建前端开发环境 完成 Windows 用户配置。按照下图步骤安装 mingw 命令行环境，下载地址：git-scm。下载 并安装 NodeJS v8 版本。安装 cnpm。在 mingw 或终端中，执行以下命令，安装 cnpm。npm install-g cnpm-...
本文提供的视频通过实战教学帮助您开发物模型。什么是物模型 物模型是物理空间中的实体（如传感器、楼宇、工厂等）在物联网平台的数字化表示，从属性、服务和事件三个维度，分别描述了该实体是什么、能做什么、可以对外提供哪些信息。添加...
系统内置集成是由魔笔平台封装的集成资源，旨在简化用户的操作，帮助用户快速高效进行集成操作的开发和使用。系统内置集成 系统内置集成 是魔笔平台预置的集成资源，位于集成列表中置顶的"系统内置集成"文件夹中。这类集成资源由魔笔平台...
在进行数据发布前，可通过检查项对数据开发功能相关的约束进行检查，当检查出不符合约束规范的内容时，系统会生成影响开发流程正常执行的问题事件，您可基于该事件处理暴露的问题，以保障数据开发流程可以正常执行。本文为您介绍如何查看并...
配置完成后单击 发布，系统会将模型发布至对应的 开发 或 生产 环境，并物化至所选引擎。支持在 发布 对话框查看当前发布进度及相关日志 支持重复执行发布操作将模型发布至不同的环境中。可选：发布完成后，您可单击表详情页顶部菜单栏的 ...
本文为您介绍DataWorks数据开发（DataStudio）界面的整体布局，以及进行开发操作的主界面（业务流程和节点）中各组件、按钮的功能作用，方便您快速了解及使用数据开发模块。进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧...
AIRec智能推荐 AIRec通过服务端SDK上传数据和请求推荐结果，我们提供了多种语言的服务端SDK供您使用。此外，您也可以选择结合友盟SDK来上传同步行为数据至AIRec。服务端SDK 友盟SDK的使用 API概览 推荐全链路深度定制开发平台 PAIRec 基础...
Data Studio个人开发环境是账号级云端开发实例，集成OSS/NAS存储、Git代码管理及Python/Notebook生态，支持本地脚本执行、在线调试与任务提交，通过灵活的自定义镜像和外部服务扩展能力，为数据处理、模型训练及协作开发提供高效、可定制的...
实现 PUSH 通知栏消息，对 EMUI 和华为移动服务是否有版本限制 对 Emotion UI（简称 EMUI，是华为基于 Android进行开发的情感化操作系统）和华为移动服务有版本限制，详细版本要求请参见 设备接收华为推送消息的条件。华为手机无法打印日志...
实现 PUSH 通知栏消息，对 EMUI 和华为移动服务是否有版本限制 对 Emotion UI（简称 EMUI，是华为基于 Android进行开发的情感化操作系统）和华为移动服务有版本限制，详细版本要求请参见 设备接收华为推送消息的条件。华为手机无法打印日志...
核心能力 广泛兼容 主流协议支持：兼容Playwright、Puppeteer等主流浏览器自动化协议，保障开发便捷性与业务系统对接一致性。灵活扩展：覆盖无头与有头浏览器模式，支持浏览器插件加载，可适配定制化运行需求。智能操作 智能驱动：支持通过...
说明 通过个人开发环境挂载的NAS，如果在 文件存储控制台 开通了 回收站，则删除的文件会进入文件系统的回收站。个人开发环境自带的存储空间（默认位于/mnt/workspace）中的文件。任意位置的空目录文件夹。数据目录：表和视图。进入回收站 ...
根据所使用系统类型，准备运行Spark on MaxCompute任务的开发环境，详情请参见 搭建Linux开发环境、搭建Windows开发环境。开发Java/Scala代码。在ODPS Spark节点执行Java或Scala语言类型代码前，需先在本地或已有环境开发好Spark on ...
MaxCompute MapReduce：MaxCompute的原生接口，执行速度快、开发快捷、不暴露文件系统。MaxCompute扩展MapReduce（MR2）：对MaxCompute MapReduce的扩展，支持更复杂的作业调度逻辑。MapReduce的实现方式与MaxCompute原生接口一致。在...
根据所使用系统类型，准备运行Spark on MaxCompute任务的开发环境，详情请参见 搭建Linux开发环境、搭建Windows开发环境。开发Java/Scala代码。在MaxCompute Spark节点执行Java或Scala语言类型代码前，需先在本地或已有环境开发好Spark on ...
MaxCompute MapReduce：MaxCompute的原生接口，执行速度快、开发快捷、不暴露文件系统。MaxCompute扩展MapReduce（MR2）：对MaxCompute MapReduce的扩展，支持更复杂的作业调度逻辑。MapReduce的实现方式与MaxCompute原生接口一致。在...
IoT Studio提供了组件开发功能，便于开发者开发、发布和管理自己研发的组件，并将其发布到可视化工作台中用于可视化页面搭建。从而满足开发者的需求，提升组件丰富性，为可视化搭建提供无限可能。使用说明 组件开发功能升级中，暂停新用户...
集成操作是魔笔平台的重要能力，通过详述其核心功能，帮助用户高效进行集成操作的开发和使用。什么是集成 集成是魔笔平台的重要能力之一，开发者可以通过为资源创建多个集成，以实现与各种外部系统的无缝连接。这些集成可以包括但不限于SQL...
本案例指导您完成购房群体分析，帮助您掌握DataWorks的数据开发与数据分析流程。案例介绍 本案例基于用户买房数据，分析不同群体的购房情况。通过DataWorks进行数据开发和数据分析。将本地数据通过DataWorks上传至MaxCompute的 bank_data ...
在节点（Shell节点、Python节点、Notebook节点）中使用数据集，以便在数据开发过程中读写NAS或OSS存储中的数据。也可以在创建个人开发环境时，将数据集作为个人开发环境实例的存储。重要 建议优先阅读 管理数据集，了解如何创建数据集。...
由于DataStudio中业务流程运行、开发环境冒烟测试操作会进入调度系统，所以代码中时间参数将受调度时区变更影响，但DataStudio中单节点调试、临时查询等操作不走调度，所以不受调度时区变更影响。（重点）时区切换对产品的侧影响 调度时区...
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...