进入数据保护伞 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上角的 图标，选择 全部产品>数据治理>数据保护伞。单击 立即体验，即可进入数据保护伞首页。您...
注意事项 跨账号创建的数据源不能用于数据开发和调度。如您需进行相关数据开发操作，请使用当前账号创建数据源。详情请参见 创建MaxCompute数据源、创建Hologres数据源。跨账号创建数据源时，仅支持通过RAM角色访问的方式访问对应的项目。...
详情请参见 数据源开发和生产环境隔离。您可在数据源配置页面，查看数据源使用的MaxCompute项目名称，确认数据最终读取或写入至哪一个MaxCompute项目。详情请参见 管理数据源。单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离...
数据开发与调度：大数据开发治理平台 DataWorks数据开发（必选）、DataWorks运维中心（必选），基础版DataWorks已包含数据开发和运维中心功能。数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据...
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。...DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
由于任务最终将发布生产环境执行，若数据源开发环境与生产环境配置不一致，请确保资源组可分别与开发数据源和生产数据源连通。新增数据源隔离模式后，对工作空间有以下影响：仅标准模式工作空间支持数据源开发生产隔离，即开发环境和生产...
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute...DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
详情请参见：数据源开发和生产环境隔离。说明 目前只有标准模式的工作空间支持数据源隔离。使用域名配置数据源 如果您的数据源IP地址经常变动，或者无法通过IP直接访问数据源，您可通过为独享数据集成资源组绑定Host方式解决此问题。独享...
数据服务价值 为了解决常见的数据应用问题，在数据服务体系下，开发人员开发数据服务时，提供简易向导和灵活脚本两种模式，从而降低开发门槛、提高开发效率、统一代码质量，方便管理变更；业务人员应用数据服务时，提供安全、稳定的数据...
开发人员和DBA无需使用专用的GIS软件，使用熟悉的SQL即可完成专业的GIS操作和计算，大大降低了研发的门槛和成本。开启并行处理后能充分利用多核计算资源有效加快数据处理效率，避免长时间等待。特别在栅格数据处理上接口设计简单、功能丰富...
DataWorks通过OpenEvent能力为您提供消息订阅能力，您可以将服务程序注册为DataWorks的扩展程序，通过扩展程序来捕捉并响应订阅的事件消息，以此实现对特定事件进行消息通知与...需针对数据开发、数据分析场景分别设置不同的下载数量策略。
流转 大数据系统通常是端到端的一整套数据开发和治理服务，不仅要采集数据、加工数据，更要将数据提供给业务方使用。因此，其存在错综复杂的数据流转链路，包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他...
说明 如果您没有应用、API和Dataphin数据源资源的使用权限，或没有服务单元资源的开发和使用权限，您可以申请对应的权限。具体操作，请参见 申请、交还应用权限。数据服务总览、个人工作台、运维管理和平台管理模块中四种角色的具体权限...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
面向上层数据可视化、分析系统，Lindorm提供更为便捷的开发期SDK和REST API数据对接方案，同时兼容OpenTSDB、Prometheus、Hbase等原生接口，无缝对接主流生态，进一步简化了图扑软件集成部署成本。适用场景 实时场景监控大屏展现。态势感知...
DataStudio提供隔离的开发和生产环境，结合版本管理、代码评审、冒烟测试、发布管控、操作审计等配套功能，帮助企业规范地完成数据开发。运维中心支持数据时效性保障、任务诊断、影响分析、自动运维、移动运维等功能。核心技术与架构 高效...
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化展示。背景信息 MaxCompute：用于进行大规模数据计算，详情请...
例如在DataWorks进行任务开发、定时任务调度、数据同步任务调度、大规模工作流监控、数据质量监控、数据服务API调用等操作。重要 当实例欠费后有停机风险，系统会提醒或通知您，请及时续费，避免对您的服务造成影响。公共调度资源组、公共...
说明 系统支持配置 生产数据源 和 开发数据源 为相同的数据源，也可以配置为不同的数据源。标签 选择数据源所属的标签分类。非必选。链接地址 填写数据库的链接地址。如 jdbc:mysql:/host:port/dbname。用户名 填写登录数据库的用户名。...
DataWorks数据服务提供了快速将数据表生成API的功能，通过可视化的向导模式操作，无需代码便可快速生成API，然后通过DataV调用API并在大屏中展示数据分析结果，高效实现数仓的开发和数据的展示。前提条件 要想实现DataWorks数据服务与DataV...
说明 系统支持配置 生产数据源 和 开发数据源 为相同的数据源，也可以配置为不同的数据源。标签 选择数据源所属的标签分类。非必选。链接地址 填写数据库的链接地址。如 jdbc:mysql:/host:port/dbname。用户名 填写登录数据库的用户名。...
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
三方引擎的数据开发 数据可视化分析 TopConsole（管理控制台）提供MaxCompoute项目管理、Quota管理、租户管理等基础配置管理能力，以及作业运维、资源观测基本运维能力，还有物化视图、成本分析优化等增强运维能力，详情请参见 资源和作业...
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建 EMR Hive 节点。鼠标悬停至 图标，选择 新建节点>EMR>EMR Hive。您也可以找到相应的业务流程，右键单击业务流程，...
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。调用数据服务API时，数据服务将访问该数据源来执行查询请求。新建业务流程 数据服务基于业务流程实现以业务为单元的数据服务API开发，...
创建完成后，可在DataWorks的各功能模块使用该数据源连接ClickHouse集群，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已创建ClickHouse集群。详情请参见 新建集群。说明 建议创建ClickHouse集群时，地域 与创建ClickHouse...
开通DataWorks服务后，在使用DataWorks的各项服务时，不同产品服务的功能模块（例如，任务开发、定时任务调度、数据同步任务调度、大规模工作流监控、数据质量监控、数据服务API调用）会根据使用量和占用的资源量进行按量计费。详情请参见 ...
创建完成后，可在DataWorks的各功能模块使用该数据源连接AnalyticDB for PostgreSQL实例，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已购买AnalyticDB for PostgreSQL实例并创建数据库，详情请参见 创建实例、数据库管理。...
开发和运行批处理脚本。执行数据库管理和修改参数等。使用 OceanBase 客户端连接 OceanBase 租户的具体操作示例请参见 通过 OBClient 连接 OceanBase 租户。OceanBase 开发者中心（ODC）OceanBase 开发者中心（OceanBase Developer Center...
您可在DataWorks上进行CDH相关的Hive、Spark、MR、Presto、Impala等任务的开发和周期性调度。创建CDH Hive节点 创建CDH Spark节点 创建CDH MR节点 创建CDH Presto节点 创建CDH Impala节点 2024.2.6 更新功能 数据保护伞 数据保护伞新版系统...
创建完成后，可在DataWorks的各功能模块使用该数据源连接MaxCompute项目，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已购买MaxCompute，详情请参见 开通MaxCompute。说明 建议购买MaxCompute的 地域 与创建MaxCompute数据源...
前提条件 大数据开发治理平台DataWorks：购买DataWorks，详情请参见 购买指引。说明 因本示例提供的数据资源都在华东2（上海），建议购买时选择地域为华东2（上海）。对象存储OSS：已开通OSS服务，具体步骤，请参见 开通OSS服务。步骤一：...
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
说明 系统支持配置 生产数据源 和 开发数据源 为相同的数据源，也可以配置为不同的数据源。标签 非必填，配置数据源的标签分类。生产数据源 或 生产+开发数据源 链接地址 填写数据源的链接地址。链接地址的格式为：jdbc:mysql:/{Public ...