大数据计算服务项目Quota MaxCompute的 配额。说明 创建跟踪首次投递到MaxCompute时，需要选择MaxCompute的配额，若当前地域下无可选配额，请选择其他MaxCompute地域。选择 投递到其他账号，设置 大数据计算服务ARN 和 大数据计算服务写入...
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
数据表被项目引用，其中存在已发布项目：系统会提示用户有哪些已发布的项目引用了当前表，并提示用户不能直接删除，需要关闭项目的发布状态或删除项目对当前表的引用后才能删除。在删除弹窗中单击 确定，删除数据表。后续操作 新建项目
项目数据资产：包括是否可以通过角色获取当前项目内数据资产（如物理表、逻辑表）的各种权限（查表数据、改表数据、删除表等）；数据资产权限通常是需要自定义项目角色的关键点，建议按照最小需求范围配置。发布运维：包括是否可以查看、...
项目数据资产：包括是否可以通过角色获取当前项目内数据资产（如物理表、逻辑表）的各种权限（查表数据、改表数据、删除表等）；数据资产权限通常是需要自定义项目角色的关键点，建议按照最小需求范围配置。发布运维：包括是否可以查看、...
本文档为您介绍DataV支持的所有数据源，帮助您选择合适的数据源进行大屏项目的开发。进入 DataV控制台，单击 我的数据，可以对接入的数据源进行统一管理。DataV支持以下数据源的接入。数据源类型 数据源 说明 数据库类 说明 如果您在其它...
本文介绍数据树的管理功能。...新建项目并添加 在数据树中选择需要添加的数据表，单击右下角的 新建项目并添加，等待系统自动创建项目并将当前已选中的数据添加至新创建的项目中。也可以单击 清空选择，去勾选已选中的数据表。
这样数据不会被删除，通过其他方式可正常请求项目数据。重要 如果包年包月计算Quota被冻结或释放，项目默认Quota未切换到其他正常Quota，那么在此项目中将无法运行计算作业，设置或指定Quota请参见 计算资源使用。该地域项目生命周期将和...
说明 如果在 选择空间数据项目 对话框内，没有任何已创建的空间数据项目，您可以单击对话框右上角的 前往空间构建平台创建项目，进入空间构建平台自定义创建项目数据，详情请参见 创建项目。进入某个空间数据项目 添加图层 对话框，可以在 ...
本文为您介绍如何在DataV中调用DataWorks的数据服务API，并将数据返回结果展示在DataV可视化应用中。前提条件 在开始本案例前，您需要首先完成 准备工作，并已经 生成了数据服务API。背景信息 警告 您必须使用HTTP协议进入DataV控制台，...
MaxCompute提供项目数据保护机制，为数据安全提供保障。本文为您介绍常用安全操作命令。安全操作常用命令如下。详细安全相关操作请参见 安全参数列表。类型 功能 角色 操作入口 开启项目数据保护 开启项目的数据保护机制。项目Owner或授予...
基于不同的业务创建不同的MaxCompute项目：数据仓库开发和生产：按照数据仓库模型分层划分MaxCompute项目，分为数据仓库开发项目和数据仓库生产项目。运营分析需求：根据业务需求创建不同部门专用的MaxCompute项目，获取日常数据并进行分析...
但是，如果项目空间中的数据非常敏感，不允许流出到其他项目空间中去，此时管理员可以使用项目空间保护机制——设置ProjectProtection，明确要求项目空间中数据只能本地循环，允许写入，不能读出。具体设置如下。set projectProtection=...
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region的项目数据迁移；不同云账号间不同Region的项目数据迁移。使用限制 此方案只支持在中国内地地域间实现不同地域间的...
查询数据 支持项目数据和数据源。项目数据：即查询当前项目计算源的数据。数据源：即查询数据源的数据。包括MySQL和Oracle数据源。查询数据源数据需要选择对应数据源。若无可选数据源，可以单击+新建数据源 进行新建。单击 确定，完成SQL...
查询数据 支持项目数据和数据源。项目数据：即查询当前项目计算源的数据。数据源：即查询数据源的数据。包括MySQL和Oracle数据源。查询数据源数据需要选择对应数据源。若无可选数据源，可以单击+新建数据源 进行新建。单击 确定，完成SQL...
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
MaxCompute提供了数据保护机制，支持对数据流出行为进行控制，为项目数据的安全性提供保障。本文为您介绍MaxCompute的数据保护机制以及开启数据保护机制后数据的流出策略。背景信息 部分公司对数据安全非常敏感，例如，只允许员工在公司...
MaxCompute数据源作为数据中枢，为您提供读取和写入数据至MaxCompute的双向通道。使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。...
Tunnel日累计下载数据量_项目级别 以项目为单位，单日该项目累计下载的数据量监控指标。您可以设置最大数据量（MB），达到或超过这个阈值会触发报警。Tunnel日累计上传数据量_项目级别 以项目为单位，单日该项目累计上传的数据量监控指标。...
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
DataV可视分析地图 管理数据树 添加PolarDB PostgreSQL数据库 添加RDS PostgreSQL数据库 管理项目 数据源管理 图层管理 图层交互管理 其他更多操作请参见 操作指南。DataV可视分析创作间 创建数据集 可视分析数据集 自定义编辑卡片 分享...
查看项目数据类型版本。setproject;开启/关闭MaxCompute2.0数据类型版本。setproject odps.sql.type.system.odps2=true/false；开启/关闭decimal2.0数据类型。setproject odps.sql.decimal.odps2=true/false；开启/关闭hive兼容模式数据...
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
说明 监控对象的质量分权重，用于统计项目、数据源、个人等视角的质量分。从不同视角查看Dataphin数据表质量规则 Dataphin支持从 全局、项目、个人 三个视角查看Dataphin数据表的质量规则。全局：超级管理员、质量管理员可从全局查看所有...
说明 监控对象的质量分权重，用于统计项目、数据源、个人等视角的质量分。从不同视角查看Dataphin数据表质量规则 Dataphin支持从 全局、项目、个人 三个视角查看Dataphin数据表的质量规则。全局：超级管理员、质量管理员可从全局查看所有...
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的...
数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的...
数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的...
本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...