通过本教程，您可以了解如何使用DataWorks和EMR Serverless Spark产品组合进行大数据开发和分析，...步骤六：消费数据 用户画像分析完成后，使用数据分析模块，将加工后的 数据可视化展现，便于您快速提取关键信息，洞察数据背后的业务趋势。
概览页面从推送数、推送成功数、到达数、打开数和忽略数五个维度对消息推送情况进行统计分析，并支持通过平台、版本、推送渠道、推送类型等条件筛选生成多种形式的统计报表，统计结果数据支持导出。前置条件 已基于 mPaaS 框架完成消息推送...
消费数据 用户画像分析完成后，使用数据分析模块，将加工后的 数据可视化展现，便于您快速提取关键信息，洞察数据背后的业务趋势。获取最终加工后的数据后，使用数据服务模块，通过标准化的 API数据服务 接口，实现数据的共享与应用，为...
消费数据 用户画像分析完成后，使用数据分析模块，将加工后的 数据可视化展现，便于您快速提取关键信息，洞察数据背后的业务趋势。获取最终加工后的数据后，使用数据服务模块，通过标准化的 API数据服务 接口，实现数据的共享与应用，为...
本文介绍移动分析的使用流程，以及如何启动运行 App 并查看运行后生成的分析报表。使用流程 在 mPaaS 控制台中创建您的应用。客户端应用使用 mPaaS 中的埋点 SDK 进行埋点，请参考文档 接入 Android SDK 或 接入 iOS SDK。在 mPaaS 控制台...
云原生数据湖分析（Data Lake Analytics，简称DLA）是无服务器（Serverless）化的数据湖分析服务，支持按需与保留资源使用，打造最具性价比的数据湖分析平台；提供一站式的数据湖分析与计算服务，支持 ETL、机器学习、流、交互式分析，可以...
本文为您介绍如何用Spark SQL创建外部用户信息表 ods_user_info_d_spark 以及日志信息表 ods_raw_log_d_spark 访问存储在私有OSS中的用户与日志数据，通过...登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据分析与服务...
DataWorks的数据血缘功能支持可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。本文为您介绍如何查看血缘关系图。背景信息 数据血缘...
DataWorks提供项目所有者、空间管理员、数据分析师、开发、运维、部署、访客、安全管理员、模型设计师、数据治理管理员等多种角色，本文将为您介绍具体角色的权限说明。DataWorks提供的空间预设角色默认拥有所有空间级模块的可读权限，但...
如何检查客户端是否已正确接入 正确接入客户端之后，控制台上看不到数据 在控制台创建事件后，看不到事件 PV 和 UV 在控制台创建事件后，事件 UV 始终显示为 0 自定义大盘中没有数据展示 移动分析控制台中 iOS 客户端的 Crash 日志没有反解...
Spark Thrift Server会话：Spark Thrift Server是Apache Spark提供的一种服务，支持通过JDBC或ODBC连接并执行SQL查询，从而便捷地将Spark环境与现有的商业智能（BI）工具、数据可视化工具及其他数据分析工具集成。相关文档 管理SQL会话 ...
本文为您介绍如何使用DataWorks中的EMR Hive节点，对同步至OSS的用户信息表（ods_user_info_d_emr）及访问日志数据表（ods_raw_log_d_emr）中的数据进行加工，进而得到目标用户画像数据。前提条件 开始本案例前，您需完成 同步数据 中的...
您可以在Dataphin工作台进行数据开发、数据治理等操作。功能 文档 Dataphin共享模式（全托管版）数仓规划概述 数据引入概述 数据开发概述 发布中心概述 运维中心 分析平台概述 标签工厂概述 资产清单概述 数据标准概述 资产质量概述 资源...
大数据开发治理平台 DataWorks基于MaxCompute/EMR/Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万名...
DataWorks通过OpenEvent能力为您提供消息订阅能力，您可以将服务程序注册为DataWorks的扩展程序，通过扩展程序来捕捉并响应订阅的事件消息，以此实现对特定事件进行消息通知与...需针对数据开发、数据分析场景分别设置不同的下载数量策略。
用户画像分析任务流程完成后，在MaxCompute、EMR或StarRocks内将创建5张数据表。生成的数据表可在数据地图模块进行查看，可通过 血缘查看 来查生成表之间的关系。前提条件 开始本实验前，请先完成 同步数据 和 加工数据 的操作。数据源版本...
您可参考 Spark官方文档 自定义全局Spark参数，并配置全局Spark参数的优先级是否高于指定模块内（数据开发、数据分析、运维中心）的SPARK参数。本文为您介绍如何设置全局Spark参数。背景信息 Apache Spark是用于进行大规模数据分析的引擎。...
说明 DataWorks数据开发、数据分析：三个条件（生效的用户范围、生效的项目范围、生效的工作空间）同时满足时，脱敏策略生效。DataWorks数据地图：两个条件（生效的用户范围、生效的项目范围）同时满足时，脱敏策略生效。配置完成脱敏规则...
当您的团队需要在DataWorks中进行协同开发时，面临着项目隔离、权限分配和计算资源管理的挑战。工作空间正是解决这些问题的核心...后续步骤 创建工作空间并分配空间成员角色权限后，您可根据业务场景进行：数据集成、数据开发、数据分析 等。
SQL窗口介绍 SQL Console初体验 SQL Console新交互模式下变更表数据和结构 数据工作站 数据集成 离线集成是一种低代码开发数据加工任务的工具，可以组合各类任务节点形成数据流，通过周期调度运行达到数据加工、数据同步的目的。...
本文描述大数据开发治理平台 DataWorks支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云...
数据分析：即时快速分析 数据分析基于“人人都是数据分析师”的目标，旨在为更多非专业数据开发人员，如数据分析、产品、运营等工作人员提供更加简洁高效的取数、用数工具，提升大家日常取数分析效率。功能概述 数据分析支持基于个人视角的...
您需要在工作空间中开启动态脱敏，开启后DataWorks的动态脱敏策略数据开发、数据分析的脱敏功能生效。单击 动态脱敏 页签内单击进入 工作空间管理 页签。在 工作空间管理 页签，可在 状态 列对单个空间进行 开启 或 禁用，亦或是勾选多个...
创建完成后，可在DataWorks的各功能模块使用该计算资源连接Hologres实例，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已 购买Hologres实例 并 创建数据库。重要 购买Hologres实例时，请确保其与DataWorks工作空间位于同一...
您可参考 设置全局Spark参数 来自定义全局的SPARK参数，并设置全局参数的优先级是否高于特定模块（如数据开发、数据分析和运维中心）内的局部参数。以下将为您介绍如何设置全局SPARK参数。背景信息 Apache Spark是一个用于大规模数据分析的...
开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。调用数据服务API时，数据服务将访问该数据源来执行查询请求。数据服务支持的数据源请参见 数据服务数据源列表。重要 如果连通性测试...
开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。调用数据服务API时，数据服务将访问该数据源来执行查询请求。数据服务支持的数据源请参见 数据服务数据源列表。重要 如果连通性测试...
本产品（大数据开发治理平台 DataWorks/2024-05-18）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...
创建完成后，可在DataWorks的各功能模块使用该计算资源连接AnalyticDB for MySQL3.0集群，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已 创建AnalyticDB for MySQL3.0集群。说明 建议购买AnalyticDB for MySQL3.0集群时，...
本文为您介绍使用大数据开发治理平台DataWorks OpenAPI的基本信息、使用限制、计费及调用说明。基本信息 版本 OpenAPI门户 支持的API列表 支持的地域 2024-05-18（新版OpenAPI）OpenAPI门户 支持的API列表 华东1（杭州）、华东2（上海）、...
只有当一份数据完整地经历了以上三个步骤的处理，您后续从数据分析、数据开发等模块查询并导出的这份 已脱敏且含水印 的数据文件（如CSV），才能被 数据溯源 功能成功解析，最终追查到其原始的泄露路径。限制说明 适用用户：开通DataWorks...
本次升级旨在构建一个面向未来的、高性能、高可用的数据智能开发平台，为用户提供更高效、更智能、更统一的数据开发与治理体验。重要 如升级过程中遇到问题，可在 DataWorks数据开发升级到新版专属答疑群 获取技术支持。一、升级背景 ...
本产品（大数据开发治理平台 DataWorks/2020-05-18）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...
发布并物化模型 维度表、明细表、汇总表、应用表可直接发布物化至创建的数据源实例中，用于后续计算引擎进行数据开发、数据分析等。当前支持将表直接发布物化至MaxCompute、Hologres、EMR Hive、CDH、MySQL引擎。发布模型。模型创建完成后...
使用SQL函数 MaxCompute支持使用内建函数和自定义函数进行数据开发及分析，您可根据业务需求创建使用SQL函数。内建函数详情请参见 内建函数概述，自定义函数详情请参见 MaxCompute UDF概述。下面示例为您介绍如何使用SQL函数。内建函数：内...
本文介绍基因分析平台中基因数据文件的使用方法，包括上传、下载、删除等操作。基因分析平台并不直接提供基因数据的存储功能，而是依赖于阿里云 对象存储OSS 来帮助用户管理自己的基因数据文件。在开通基因分析平台时，由用户授权给基因...
基因分析平台基础概念 基因分析平台的相关基础概念如下表所示：概念 说明 地域/region 基因分析平台中的数据文件、表格、应用以及运行等资源，都属于阿里云公共云上的某个地域，如 华北2（北京）。在用户进行基因计算时，这些资源也必须...
数据源 权限说明 数据源范围 数据源 连接模式：仅支持选择有权限的工作空间内的数据源数据，因此您需要先联系管理员将您 添加为工作空间的 数据分析师、开发、运维、空间管理员。直接连接 模式：仅支持选择当前登录账号已经加入的...
说明 部分DataWorks功能模块（例如，数据质量、数据开发、数据分析）触发的任务没有实例ID，平台会展示为中划线（-）。EMR作业类型：仅支持查看 MAPREDUCE 及 SPARK 类型的作业。运行时间排序：您可对 开始时间 或 结束时间，进行升序或降...
在 DataV 添加 OceanBase for MySQL 数据源的详细操作，请参见：什么是DataV数据可视化 配置数据库白名单 添加OceanBase for MySQL数据源 Quick BI 数据分析与展现 Quick BI 是一款全场景数据消费式的BI平台，秉承全场景消费数据，让业务...