DataWorks是一站式智能大数据开发治理平台，适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、AnalyticDB、StarRocks、PAI 等数十种大数据和AI计算服务，为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、...
运维中心是一站式大数据运维监控平台，支持实时查看任务运行状态，提供智能诊断、重跑等运维操作，帮助您对异常任务进行基础运维；提供智能基线，帮助您解决重要任务产出时间不可控，海量任务监控难的问题，保障任务产出的时效性；提供引擎...
运维中心是一站式大数据运维监控平台，支持实时查看任务运行状态，提供智能诊断、重跑等运维操作，帮助您对异常任务进行基础运维；提供智能基线，帮助您解决重要任务产出时间不可控，海量任务监控难的问题，保障任务产出的时效性；提供引擎...
购买 数据安全中心DSC（Data Security Center）实例后，在使用 DSC 检测大数据产品（包括TableStore、MaxCompute、AnalyticDB-MYSQL、AnalyticDB-PG）中存在的敏感数据或审计数据库等功能前，您需要先开启对应功能。前提条件 已开通数据...
功能介绍 在DataWorks上进行数据开发管理的过程中，您可以便捷地对表数据、数据服务API等进行权限管控，进行权限管控时，您可以在 审批中心 自定义审批流程，如果涉及 计算引擎审批策略，也可以使用DataWorks 安全中心 为您提供的 数据访问...
DataWorks的发布中心是数据开发中任务发布功能的升级版，主要解决多环境间节点、函数、资源、组件等对象的发布问题。当您需要将源工作空间中的节点、函数等对象同步至目标工作空间时，可以借助该功能实现跨环境的一键发布。本文为您介绍...
DataWorks的发布中心是数据开发中任务发布功能的升级版，主要解决多环境间节点、函数、资源、组件等对象的发布问题。当您需要将源工作空间中的节点、函数等对象同步至目标工作空间时，可以借助该功能实现跨环境的一键发布。本文为您介绍...
数据源作用 数据源用于连接各类大数据存储或计算集群、调度引擎，作用于湖仓迁移中心的以下模块：模块名称 数据源作用 数据探查 连接各类大数据存储或计算集群、调度引擎，以执行探查任务获取相应的元数据信息 血缘孪生 血缘通过关联数据源...
目前安全中心和数据管理中的申请或审批记录没有进行关联，如果需要查看在数据管理进行申请或审批的历史记录，请跳转至 数据管理 页面进行查看。是否可以通过安全中心的申请记录来回收权限？目前安全中心并非唯一的授权渠道，为了最大程度地...
EMR Workflow的数据源中心支持配置数据源，以满足不同的数据存储和访问需求。本文为您介绍如何创建、编辑和删除数据源。使用限制 数据源所在的集群和运行工作流时选择的集群需要在同一VPC下。创建数据源 进入数据源中心页面。使用阿里云...
DataWorks安全中心围绕数据全生命周期，构建“身份认证、授权、访问控制、审计、资产保护”五大核心治理板块，实现从权限策略到风险闭环的精细化、智能化安全管控，构建纵深防御体系：多维度数据隔离：在租户、工作空间纵向维度精准隔离...
本产品（大数据开发治理平台 DataWorks/2020-05-18）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...
调用本接口查询敏感数据识别规则的列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。本文示例新建名为 rds_workshop_...
支持 支持 支持 支持 管理中心 数据源管理 数据源 支持（仅支持生产数据源，不支持生产开发隔离）支持（仅支持生产数据源，不支持生成开发隔离）支持 支持 自定义数据源 不支持 不支持 支持 支持 应用系统 不支持 支持（仅计算引擎为 ...
运维中心-下线节点 运维中心-补数据 相关文档 启用扩展程序，详情请参见：测试应用扩展程序。运维中心更多扩展点事件，详情请参见：支持的扩展点事件列表。补数据事件的消息实体格式，详情请参见：补数据操作事件。节点变更事件的消息实体...
大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户构建和持续优化的大...
在跨项目克隆下线之前，平台将按照默认迁移逻辑为您迁移跨项目克隆历史数据至发布中心。具体时间节点，请参见 DataWorks跨项目克隆下线公告。默认迁移逻辑 默认迁移环境逻辑 DataWorks将会依据您原跨项目克隆计算引擎映射自动生成源空间至...
大数据开发治理平台 DataWorks基于MaxCompute/EMR/Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万名...
说明 2021年1月之前购买的独享调度资源组，如果需要升级 您需要先单击 申请链接 加入“阿里云大数据AI平台”交流群，再扫描下方二维码加入DataWorks产品钉钉交流群，进行售前售后咨询，咨询可直接@智能机器人，值班时间段内也可直接联系...
1 PageSize integer 每页显示的条数 10 TotalCount integer 数据量总数 100 ShiftSchedules array object 值班表列表数据 ShiftSchedules object 值班表 ShiftScheduleIdentifier string 值班表唯一标识，可用来查询值班表值班人员列表 2ab...
您可在运维中心查看发布至生产环境的任务，并执行测试、补数据等相关运维操作。本文以周期调度任务的运维为例，通过确认调度任务的配置是否符合预期、使用补数据计算历史时间段的数据、配置任务的智能监控规则，保障任务后续可以正常调度，...
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
补数据 用于对周期任务执行补历史数据或未来时间段数据的操作，执行补数据操作后将产生补数据实例，您可以通过 补数据实例 页面查看此次补数据任务的运行情况，详情请参见 执行补数据并查看补数据实例（新版）。更多 暂停（冻结）当任务...
EMR提供的组件包括开源和自研两大类，涵盖数据开发、计算引擎、数据服务、资源管理、数据存储、数据集成等领域，您可以按需选择和配置。说明 在创建集群时，如果没有您想使用的组件，或者想使用的开源组件仅对存量用户开放，您可以自行安装...
实时数据通道 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。收益 系统解耦...
全局染色配置，可以对染色范围和标准进行自定义 三、查看链路 点击血缘列表操作一栏中的 查看链路，在搜索框中支持通过表名或者任务名进行搜索 血缘链路图会以搜索节点为中心进行展开，如下图所示：如果配置了校验染色，以及对应数据源的表...
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
DIRunStreamxJob 运维中心数据集成启动实时任务 DIBatchRunStreamxJob 运维中心数据集成批量启动实时任务 DIStopStreamxJob 运维中心数据集成停止实时任务 DIBatchStopStreamxJob 运维中心数据集成批量停止实时任务 DIOfflineStreamxJob 运...
数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
EMR on ECS是指在ECS上运行EMR，它将EMR的大数据处理能力与ECS的弹性灵活优势相结合，使得您能够更加便捷地配置和管理EMR集群，同时支持多种开源和自研大数据组件，适用于复杂的大数据处理和分析场景。产品架构 EMR主要由四部分组成，分别...
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
互联网行业：快狗打车云上大数据仓库 客户简介 快狗打车则一直坚持通过“连接网络化”、“运力共享化”、“过程数据化”、“匹配智能化”等数字信息化解决方案，将闲散运力统一整合到平台上，通过大数据将运力精准匹配市场需求，实现运力的...
对接多种阿里云大数据计算和搜索引擎、AI引擎，打破数据孤岛，帮助用户快速完成云原生数据湖及OpenLake解决方案的构建与管理，并能做到元数据统一、湖表格式统一、数据存储统一，简化客户在数据湖构建和管理上的运维工作，助力企业专注于...
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
生产处理实时化 从数据的3V特性（体积，速度和变化）来看，大数据强调数据量，PB级以上，是静态数据；而Fast Data在数据量的基础上，意味着速度和变化，客户可以更加实时、快速地进行数据处理。IDC在新发布的一份白皮书中表示，随着全球...
流量有效隔离 异地多活本质上是提供了一种自顶向下的流量隔离能力，业务具备在数据中心级别完全隔离的能力，各个数据中心承载的流量大小可灵活调配，在最小隔离数据中心内（例如承载1%流量），业务可灵活进行风险可控的技术演进，例如基础...
流量有效隔离：异地多活本质上是提供了一种自顶向下的流量隔离能力，业务具备在数据中心级别完全隔离的能力，各个数据中心承载的流量大小可灵活调配，在最小隔离数据中心内（例如承载1%流量），业务可灵活进行风险可控的技术演进，例如基础...