通过本教程，您可以了解如何使用DataWorks和MaxCompute产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站...
通过本教程，您可以了解如何使用DataWorks和StarRocks产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为...
通过本教程，您可以了解如何使用DataWorks和MaxCompute产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站...
通过本教程，您可以了解如何使用DataWorks和EMR Serverless Spark产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从...
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
通过本教程，您可以了解如何使用DataWorks和MaxCompute产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站...
工作空间概述 工作空间是DataWorks中进行任务开发和成员权限管理的 基本单元，所有开发工作都将在DataWorks自定义的工作空间内完成。一个工作空间支持创建多种数据源，以管理数据源中存储的数据；同时支持绑定多种计算资源，以进行任务开发...
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
Vertica Vertica是一个高性能的列式存储数据库管理系统（DBMS），可高速处理和查询大规模数据集，主要用于大数据分析和实时查询。更多介绍请参见 Vertica官网。DM 达梦（DM）是集成在业务系统中的OLTP类型数据库，它融合了分布式、弹性计算...
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
功能项 说明 任务编排 通过一个或多个任务编排而成的任务组，实现数据归档、数据集成、数仓数据开发、数据挖掘等需求。数据服务 将DMS上管控的数据以API的形式快速对外输出。视频介绍 研发流程解决方案 数据安全解决方案 数据开发解决方案
步骤五：规范建模 数据开发 基于 规范定义 明确好的统计指标口径和 规范建模 部分定义好的模型完成规范建模数据开发。包括维度逻辑表、事实逻辑表、原子指标、业务限定、派生指标。步骤一：开发维度逻辑表 步骤二：开发事实逻辑表 步骤三：...
产品列表 OpenLake免费试用会为您开通如下列表内的产品：分类 产品 开发平台 大数据开发治理平台DataWorks（DataWorks计费说明、DataWorks基础版、DataWorks通用资源组）、人工智能平台PAI 存储服务 数据湖构建DLF、对象存储OSS 计算资源 ...
步骤五：规范建模 数据开发 基于 规范定义 明确好的统计指标口径和 规范建模 部分定义好的模型完成规范建模数据开发。包括维度逻辑表、事实逻辑表、原子指标、业务限定、派生指标。步骤一：开发维度逻辑表 步骤二：开发事实逻辑表 步骤三：...
DataWorks通过OpenEvent能力为您提供消息订阅能力，您可以将服务程序注册为DataWorks的扩展程序，通过扩展程序来捕捉并响应订阅的事件消息，以此实现对特定事件进行消息通知与...需针对数据开发、数据分析场景分别设置不同的下载数量策略。
流转 大数据系统通常是端到端的一整套数据开发和治理服务，不仅要采集数据、加工数据，更要将数据提供给业务方使用。因此，其存在错综复杂的数据流转链路，包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他...
DataWorks 是阿里云提供的一站式大数据开发与治理平台，旨在帮助用户解决从数据接入、处理、治理到服务化的全链路数据问题。它通过一系列高度协同的功能模块，将复杂的数据工程流程化、可视化，显著降低了大数据开发的门槛。本文将为您逐一...
说明 在数据集成同步任务配置前，您可以在DataWorks的 数据源 页面，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步任务配置过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。本教程提供数据...
DataWorks的Data Studio模块提供多种节点以满足不同数据处理需求：数据集成节点用于同步，引擎计算节点（如MaxCompute SQL、Hologres SQL、EMR Hive）用于数据清洗，通用节点（如虚拟节点和do-while循环节点）用于复杂逻辑处理。...
容器载体：它作为容器，承载数据开发、数据集成等一系列功能模块，并与数据源、计算资源、资源组等外部实体进行关联。架构与实体关系解析 下图展示DataWorks各核心实体之间的依赖与关联关系：工作空间：位于架构图的中心，是所有操作的最小...
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
JindoData是自研的数据湖存储加速套件，主要面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData SmartData SmartData仅对存量用户开放。新用户建议使用OSS-HDFS组件。SmartData是EMR产品的自研...
例如在DataWorks进行任务开发、定时任务调度、数据同步任务调度、大规模工作流监控、数据质量监控、数据服务API调用等操作。重要 当实例欠费后有停机风险，系统会提醒或通知您，请及时续费，避免对您的服务造成影响。公共调度资源组、公共...
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
DataWorks 提供一站式大数据开发与治理平台，涵盖数据集成、开发、建模、分析、质量、服务、地图及开放能力，支持全链路数据处理与企业级数据中台建设。本文为您介绍DataWorks的核心功能特性。数据集成：全领域数据汇聚 DataWorks的数据...
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
当您需要为新的数据项目启动开发工作时，面临着如何隔离代码、资源和团队成员，以避免项目混乱和安全风险的挑战。DataWorks 工作空间正是为此设计的解决方案。它通过提供一个独立的、项目制的容器，让您能够结构化地管理开发任务、计算资源...
DataWorks支持基于EMR（E-MapReduce）计算引擎创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上使用EMR的基本开发流程，以及相关 ...
公共层：用于加工、整合贴源层输入的公共数据，建立统一的指标维度，构建可复用面向分析和统计的明细事实数据和汇总数据，该层级可挂载明细表、维度表、汇总表。数据域/业务过程 属于该层的范畴。应用层：基于实际应用需求，获取公共层加工...
在个人开发环境中使用数据集 当数据集定义好以后，您可以在创建个人开发环境实例时或修改已有个人开发环境实例配置时，将DataWorks数据集的存储挂载到个人开发环境实例，后续，您可以在个人目录的终端或Notebook中直接读取数据集中的数据。...
删除场景 操作影响 删除【开发】和【生产】两个环境•生产任务将彻底失败，无法运行。在开发环境配置新任务时，该数据源不可见。仅【开发】环境•生产任务可正常运行。但编辑该任务时，无法获取元数据（如表结构）。在开发环境配置新任务时...
背景信息 若您仅需在数据开发（DataStudio），即开发环境，查询数据及相关SQL代码、测试代码的实际运行情况与期望值是否相符，或验证代码的正确性，而无需将数据或SQL代码发布至生产环境并操作生产环境引擎，则可通过 新建临时查询文件 ...
SQL窗口介绍 SQL Console初体验 SQL Console新交互模式下变更表数据和结构 数据工作站 数据集成 离线集成是一种低代码开发数据加工任务的工具，可以组合各类任务节点形成数据流，通过周期调度运行达到数据加工、数据同步的目的。...
GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基于GitHub Archive公开数据集，通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据，在DataStudio 数据开发 模块通过函数计算...
在该阶段，DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践，帮助企业做好数据安全治理的相关基础防护工作。场景一：数据分级分类 无论在任何行业，数据分级分类都是监管首要检查的...
租户隔离 Dataphin支持租户的概念，不同租户之间的数据、任务、成员、权限是完全隔离的，只能通过跨租户发布进行数据和任务的流通。常见的情况有以下两种：两套独立部署的，物理隔离的Dataphin。如两家完全不同的企业之间的Dataphin，或者...
租户隔离 Dataphin支持租户的概念，不同租户之间的数据、任务、成员、权限是完全隔离的，只能通过跨租户发布进行数据和任务的流通。常见的情况有以下两种：两套独立部署的，物理隔离的Dataphin。如两家完全不同的企业之间的Dataphin，或者...
通过DataWorks进行数据开发和数据分析。将本地数据通过DataWorks上传至MaxCompute的 bank_data 表，通过 MaxCompute SQL 任务节点分析用户群体，得到 result_table 表。基于 result_table 表做简单可视化展示分析，得到群体画像。说明 本...
您需根据后续要开发和调度的任务类型，提前创建好对应的数据源或集群。数据源或集群 说明 绑定MaxCompute计算资源 首次创建MaxCompute数据源后，DataWorks会自动将数据源绑定至数据开发（DataStudio），您无需按本文手动绑定。但后续创建的...
Notebook可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有工具可以替您...