两套系统开发、管理和维护成本高昂,数据口径难以统一。分析延迟,决策滞后:离线计算的海量数据无法被即席查询和快速分析,业务人员想要探索数据,需要等待数小时甚至一天的 T+1 报表。而实时数据又难以与海量历史数据进行有效的关联分析...
在使用 UC 内核时,您可以选择使用系统键盘(推荐)或 UC 键盘进行输入。重要 此文档仅用于已有 UC SDK 用户调试及支持使用,由于产品策略变更,UC SDK 不再开放申请。选择输入键盘 通过为 H5 容器设置 mp_h5_uc_number_input_use_system ...
DataWorks官方镜像为数据开发中的不同节点提供常用的运行环境,以满足不同任务的执行环境需求,您可在数据开发中直接使用官方镜像,也可以基于官方镜像创建自定义镜像后使用,本文将介绍官方镜像。镜像介绍 进行数据开发时,若未给节点配置...
不建议 引用系统生成的输出名:在 未 使用新版数据开发(Data Studio)的工作空间中,系统输出名 展示格式为 工作空间名称.文件ID_out,例如 shanghai_simple02.504822000_out。建议 引用如下格式的输出名:工作空间名称.产出表名称(推荐...
不建议 引用系统生成的输出名:在 未 使用新版数据开发(Data Studio)的工作空间中,系统输出名 展示格式为 工作空间名称.文件ID_out,例如 shanghai_simple02.504822000_out。建议 引用如下格式的输出名:工作空间名称.产出表名称(推荐...
本文介绍了在不同系统下开发客户端应用前所需要完成的环境配置。在进行客户端开发之前,您首先需要配置开发环境:配置 Windows 开发环境 配置 macOS 开发环境 配置 Linux 开发环境 配置 Windows 开发环境 参考以下说明配置 Windows 开发...
使用移动开发平台 mPaaS 的相关服务时 ACCESS_COARSE_LOCATION 位置权限 必选 用于完成安全保障、推荐信息以及基于地理位置的服务(LBS)等相关功能 使用移动开发平台 mPaaS 的相关服务时 ACCESS_FINE_LOCATION 位置权限 必选 使用移动开发...
指标名称 字段来源 业务规则 系统架构分析 概括当前项目数据开发总体的流程和范围。测试过程管理 测试版本控制 代码从测试环境发布至开发环境后,需描述此部分。项目交付测试通过后,每天上午9点、下午3点接受开发提交的新版本,其他时间...
本文描述移动开发平台 mPaaS支持的所有系统权限策略及其对应的权限描述,供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合,可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制...
为提升您使用 系统运维管理 的开发效率,建议您按需选择合适的操作和集成方式。OpenAPI介绍 为了能够让开发者快速高效地学习和使用云产品OpenAPI,阿里云为用户提供OpenAPI网站。它是一款集OpenAPI智能搜索、文档、在线调试、SDK获取、...
如:执行数据开发或离线同步任务时,系统自动根据任务当前所在环境,访问对应的数据库,避免生产库的数据被节点调试等操作污染。说明 数据集成 模块中仅标准模式工作空间下的单表离线同步任务支持数据源开发、生产隔离,其他类型 同步任务 ...
推荐使用新版数据开发。若不可见该选项,代表默认开启。单击 创建工作空间。创建成功后,下一步请参考 绑定计算资源。权限说明 执行创建操作的账号必须满足以下条件之一:为阿里云主账号。为已授予 AliyunDataWorksFullAccess 或 ...
对于大多数企业级用户,我们推荐从专业版开始 开通DataWorks服务,它覆盖了绝大部分数据开发与治理的核心功能。购买前建议阅读 计费简介、购买指引、软件版本选择与计费。学习路径 您可以通过DataWorks文档首页的 学习路径,快速了解...
新增和使用Serverless资源组 二、开发环境准备 您需先在DataWorks工作空间注册 CDP或CDH 集群,才可在数据开发(DataStudio)进行数据开发工作,并以工作空间为单位管理空间成员,以便进行协同开发。类别 描述 相关文档 数据同步环境准备 ...
背景信息 开源大数据开发平台E-MapReduce(简称EMR),是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...
本文描述大数据开发治理平台 DataWorks支持的所有系统权限策略及其对应的权限描述,供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合,可以精确地描述被授权的资源集、操作集以及授权条件。阿里云...
节点代码定义:MaxCompute语法 创建并使用MaxCompute表 开发ODPS SQL任务 引用SQL组件 开发ODPS Spark任务 开发PyODPS 2任务 开发PyODPS 3任务 开发ODPS Script任务 开发ODPS MR任务 创建并使用MaxCompute资源 创建并使用自定义函数 您可...
DataWorks基于 实时数仓Hologres 轻松构建实时数仓与即席分析系统。Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理,保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务...
调用方式 调用方式 支持情况 说明 阿里云SDK(推荐)支持 大数据开发治理平台 DataWorks SDK支持语言及依赖安装方法请参见 大数据开发治理平台 DataWorks SDK。原生HTTP调用 支持 原生HTTP调用需要您自己实现签名算法,并构建自定义请求,...
易用性 与 commonui 不同的是,不对系统控件再做简单封装(如 APImageView、APTextView),需要用系统控件时,推荐使用原生控件。命名一定要准确,无二义性。类似功能在不同控件中应保持一致。尊重用户习惯。扩展性 控件功能中不要使用硬...
Linux(不推荐)重要 Visual Studio Code需要图形化界面,建议使用图形化系统。执行生成命令:打开“终端”(Terminal)应用,在终端中输入 ssh-keygen 并回车。ssh-keygen 使用默认设置:系统会依次询问保存路径和密码。为了保证后续工具的...
版本 适合群体推荐 推荐场景 核心差异 基础版 学生、个人开发者、初创团队 POC:快速验证数据项目可行性 开发非关键性、小规模数据应用 低成本入门数据开发实践 提供数据上云、基础开发调度、简易数据治理能力,满足快速验证与轻量级需求。...
镜像要求:操作系统:基于 AMD64 架构的 Linux 系统,最低要求 glibc 2.28 推荐基础镜像:debian:10、ubuntu:20.04、centos:8 或更高版本。预装工具:必须包含 curl 命令。用户权限:默认用户为 root。可选支持:如果需要使用 jupyter,则...
已由系统自动发现的待治理的质量问题,如“热门访问表未配置质量规则”,“高基线任务产出表未配置质量规则”等问题,可直接通过自然语言给出治理要求,系统自动分析问题并进行相应治理 示例:找出热门访问表未配置质量规则的表,推荐并...
您可以创建EMR(E-MapReduce)HIVE节点,通过类SQL语句读写、管理存储在分布式存储系统上的大数据集的数据仓库,完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群,并注册EMR集群至DataWorks。操作详情请参见 旧版数据开发...
DataWorks提供的EMR(E-MapReduce)Hive节点支持云端大规模数据的批处理分析,能够操作存储在分布式系统中的数据,简化大数据处理流程并提高开发效率。在EMR Hive节点中,您可以使用类SQL语句读取、写入和管理大数据集,从而高效地完成海量...
如果想要像使用其他 SDK 一样简单地接入并使用 mPaaS,推荐使用原生 AAR 接入方式。原生 AAR 接入方式是指采用原生 Android AAR 打包方案,更贴近 Android 开发者的技术栈。开发者无需了解 mPaaS 相关的打包知识,通过 mPaaS Android ...
创建RAM用户 为避免产生项目数据安全性问题,推荐您创建RAM用户并交由其他用户使用,实现对参与项目的人员权限进行严格把控。本章节为您介绍如何创建RAM用户。重要 前提条件 已创建阿里云账号。更多创建阿里云账号操作,请参见 准备阿里云...
如果想要像使用其他 SDK 一样简单地接入并使用 mPaaS,推荐使用原生 AAR 接入方式。原生 AAR 接入方式是指采用原生 Android AAR 打包方案,更贴近 Android 开发者的技术栈。开发者无需了解 mPaaS 相关的打包知识,通过 mPaaS Android ...
根据需求选择工作空间模式(推荐使用 标准模式 以支持完整的开发、测试、生产环境隔离)。详情请参见 创建工作空间。2、配置并绑定资源组 创建/购买资源组:在控制台左侧导航栏进入 资源组 列表,根据任务负载需求购买合适的资源组(例如,...
使用新版数据开发(Data Studio):本教程是否开启均可进行,表示是否参加使用新版数据开发功能(推荐开启)。若未看到该选项,表示默认开启。说明 新版数据开发提供了实现面向多引擎协同的数据开发、可视化工作流编排和数据目录管理等能力...
重要 请确保挂载点的VPC和资源组的VPC网络已连通:推荐NAS挂载点与资源组使用同一VPC,确保网络连通。其他场景,请参考 网络连通方案概述 将NAS挂载点的VPC与资源组配置的VPC网络打通。文件系统路径 指定需要挂载的NAS文件夹路径,默认为根...
重要 为保障移动开发平台 mPaaS 的产品/服务功能实现与安全稳定运行的目的,我们可能会申请或使用操作系统的相关权限。为保障您的知情权,我们通过下列列表将产品/服务可能申请或使用的相关操作系统权限进行展示。因操作系统的不同,权限...
DataWorks 提供一站式大数据开发与治理平台,涵盖数据集成、开发、建模、分析、质量、服务、地图及开放能力,支持全链路数据处理与企业级数据中台建设。本文为您介绍DataWorks的核心功能特性。数据集成:全领域数据汇聚 DataWorks的数据...
新零售行业:大润发云上数据中台建设 客户简介 为了快速数字化转型,拥抱新零售,大润发计划两年内将IT系统全面迁移到阿里云上,不再自建IDC。同时与阿里云合作启动数据中台项目,可以帮助大润发降低TCO的同时,更好的依托云上生态,实现...
DataWorks新版数据开发中的Flink SQL Streaming节点支持使用标准SQL语句定义实时任务处理逻辑。Flink SQL Streaming具有易用性、丰富的SQL支持、强大的状态管理及容错能力,兼容事件时间和处理时间,并可灵活扩展。该节点易于与Kafka、HDFS...
使用限制 支持Serverless资源组(推荐)或旧版独享调度资源组运行该类型任务。准备工作:开发Spark任务并获取JAR包 在使用DataWorks调度CDH Spark任务前,您需要先在CDH中开发Spark任务代码并完成任务代码的编译,生成编译后的任务JAR包,...