交通云控平台是阿里云面向交通行业打造的，可提供地图、数据、智能算法、云边协同、控制下发、视觉渲染六大能力的大数据开放平台。产品介绍 交通云控平台为交通行业应用的开发提供图、数、智、控、云、视等能力，交通行业开发者可基于平台...
本文为您介绍EMR Serverless StarRocks的架构。StarRocks架构的核心为FE（Frontend）和BE（Backend）两类进程，不依赖任何外部...物理执行单元会在对应的数据存储节点上执行，实现本地计算，避免数据的传输与拷贝，从而极大的提升了查询性能。
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步...
此外，大数据平台的组合方案在细粒度的访问权限控制、高可靠性方面，特别对于金融等行业客户的数据容灾、高可用的需求无法很好支持。使用成本高 数据在企业中的使用，具有明显的周期性和不确定性。一方面，业务发展变化很快，其数据规模...
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
EMR Studio作为一款云上产品，支持与数据湖构建（DLF）和对象存储（OSS）等云上产品对接，构建云原生大数据产品架构。您可以在创建EMR Studio时指定OSS bucket路径，EMR Studio将自动备份作业代码和作业日志，并可以通过该路径提交Airflow ...
本文介绍如何在不同大数据分析平台中接入 云原生内存数据库Tair。常见大数据分析平台集成 Tair 的方法如下：大数据开发治理平台DataWorks：请参见 配置Redis Writer插件。说明 Tair 完全兼容Redis，您可以参考该文档配置 Tair 实例信息，但...
对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍DataWorks的交流钉群。说明 从2009年飞天大...
大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户构建和持续优化的大...
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
本文主要介绍数据资源平台的用户价值。数据开发更简单：平台提供的各种工具产品能够极大的简化数据开发过程，缩短数据治理周期，降低数据治理成本。通过标准化、精细化、规格化的智能数据生产流程，完成流水线式的数据生产作业，提升数据...
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
更多介绍请参见 结构化大数据分析平台设计、面向海量数据的极致成本优化-云HBase的一体化冷热分离 和 云上如何做冷热数据分离。冷热数据 数据按照实际访问的频率可以分为热数据、温数据和冷数据。其中冷数据的数据量较大，很少被访问，甚至...
3.赔偿方案 3.1 赔偿标准 每个数据资源平台实例按单实例月度服务可用性，按照下表中的标准计算赔偿金额，赔偿方式仅限于用于购买数据资源平台产品的代金券，且赔偿总额不超过未达到服务可用性承诺当月客户支付的月度服务费用的25%...
本文将为您介绍数据资源平台的到期提醒与停机策略。到期提醒 数据资源平台实例到期前的168小时（7天）、72小时、24小时，系统将会给您发短信，提醒您所购买的实例即将到期。请您及时备份数据或续费，避免影响正常使用。停机策略 数据资源...
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
本文介绍数据资源平台入门概述。快速使用说明 准备工作：在使用数据资源平台前，需要完成的准备工作，具体操作，请参见 创建阿里云账号 和 购买及登录数据资源平台。配置租户角色：在系统设置模块中为本账号配置租户角色，具体操作，请参见...
背景信息 为帮助您快速体验大数据平台的核心场景，每个地域首次开通DataWorks时，平台默认自动在相应地域为您开通MaxCompute按量付费产品（该产品不使用则不收费），并创建服务关联角色 AliyunServiceRoleForDataWorksEngine、...
全托管的Databricks数据洞察大数据分析平台，可以让您从繁杂的环境运维、内核优化等工作中解脱出来，专注于开发Spark作业本身。本文介绍Databricks数据洞察的产品优势。高效稳定 产品内核使用Databricks商业版的Runtime和Delta Lake。与...
本文为您介绍数据资源平台服务关联角色（AliyunServiceRoleForDataQ）的应用场景以及如何删除服务关联角色。背景信息 数据资源平台服务关联角色（AliyunServiceRoleForDataQ）是在某些情况下，为了完成数据资源平台自身的某个功能，需要...
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
本文介绍如何对接物联网平台和阿里云大数据平台，以实现设备数据分析、统计、计算和可视化实时展示。前提条件 开通、购买相关阿里云产品实例和计算资源。使用阿里云大数据平台处理物联网平台设备相关数据，涉及多个阿里云产品，包括 云数据...
大数据基准测试用于公平、客观评测不同大数据产品/平台的功能和性能，对用户选择合适的大数据平台产品具有重要的参考价值，TPC-DS逐渐成为了业界公认的大数据系统测试基准。本文以阿里云E-MapReduce+D1本地盘方案模拟TPC-DS测试的演示方案...
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
本文为您介绍数据资源平台的应用场景。构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据...
产品介绍 DataV是一款数据可视化应用搭建产品，让数据可视、价值可见。DataV数据可视化应用搭建平台以丰富的图表组件和二三维时空地理组件为特色，搭配强大的低代码可视化搭建编排能力，可以高效、低成本地完成可视化大屏、PC数据看板、...
本文为您介绍 开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...
本文主要介绍数据资源平台的核心能力。一站式大数据开发平台，提供一致性开发体验 一站式数据同步 支持离线/实时数据传输。周期同步任务调度统一管理。主流空间数据库全面支持同步汇聚（超图SDX+，ArcGIS SDE，PostGIS，Ganos）。自动灵活...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
典型案例&架构 航海船舶大数据平台 场景：全球AIS船舶实时位置数据，每天上亿条轨迹写入，要求轨迹时空/时序查询秒级响应，具体包括：监管区域实时地理围栏判断。轨迹区域回放（指定区域+指定时间段）。轨迹回放（指定时间段查询）。架构...
大数据存储与计算：云原生大数据计算服务 MaxCompute（必选）、实时数仓Hologres（可选）、开源大数据平台E-MapReduce（可选），您可根据需要开通MaxCompute、Hologres或E-MapReduce。数据开发与调度：大数据开发治理平台 DataWorks数据...
本文介绍云数据库 OceanBase 相关的云产品，可通过这些云产品对数据进行进一步处理。背景信息 云数据库 OceanBase 对接了多个阿里云常用云产品，您可以通过这些产品进行数据可视化、数据分析、数据同步等操作。常见云产品如下：大数据开发...
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
通过MaxCompute、AnalyticDB MySQL强大的数据加工和分析能力，降低大数据平台建设的门槛，轻松解决了海量数据的计算问题。同时有效降低企业成本，并保障数据安全。与第三方开源生态无缝对接，在不侵入用户应用的情况下，传输日志至日志服务...
Cloudera CDP企业数据云平台 Cloudera企业数据云是社区版CDH的全新商业化升级产品，是阿里云和Cloudera联合打造阿里云上的大数据平台。该平台可以灵活地运行各种企业工作负载（包括实时摄取和分析、批处理、交互式SQL、企业搜索、高级分析...
获奖经历 IDC：大数据平台公共云市场份额中国第一 Forrester：全球云数据仓库卓越表现者象限，国内唯一 中国信通院：首个通过577项技术要求的数据平台整体解决方案评测 中国电子学会科技进步特等奖 中国国际软件博览会金奖 浙江省科技进步...