自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
一般选择默认的可用区即可，亦可选择与已购阿 里云产品部署在同一个可用区。ECS实例 由 Master和 Worker两种类型的节点组成：Master节点：主要负责集群资源管理和作业调度。默 认节点个数为 1。Worker节点：集群的计算节点，主要负责作业的执 行。最小节点数量 3。本实践方案中，Master实例和 Core实例的选型上，实例 规格...
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
更多阿里云大数据.MaxCompute 资源抵扣包套餐（500CU*H+100GB存储）仅售 59元/年.MaxCompute 资源抵扣包套餐（500CU*H+100GB存储）仅售 59元/年.迁移到 MaxCompute.基于 MaxCompute 构建数仓，在初期只有一名开发人员的情况下，也能快速地搭建起数仓系统，且费用成本极低.MaxCompute 将原本需要清算8小时的用户交易数据缩短...
来自：
云产品
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
自建 Hadoop数据迁移到阿里云 EMR 场景描述 解决的问题 场景1：自建 Hadoop集群数据（HDFS）迁移到阿 客户自建 Hadoop迁移到阿里云 EMR集群的技 里云EMR集群的 HDFS文件系统；术方案；场景2：自建 Hadoop集群数据（HDFS）迁移到计 基于 IPSec VPN隧道构建安全和低成本数据 算存储分离架构的阿里云 EMR集群，以 OSS 和 传输...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
E-MapReduce 阿里云 E-MapReduce（EMR）是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink生态大数据 PaaS 产品。提供用户在云上使用开源 技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的 文档版本：20210721 III 自建Hive数据仓库跨版本迁移到阿里云 EMR 前言 大数据...
E-MapReduce Serverless Spark 版
E-MapReduce Serverless Spark 是阿里云 E-MapReduce 基于 Spark 提供的一款全托管、一站式的数据计算平台。它为用户提供任务开发、调试、发布、调度和运维等全方位的产品化服务，显著简化了大数据计算的工作流程，使用户能更专注于数据分析和价值提炼。
内置 Spark Native Engine，相对开源版本性能提升200%...基于阿里云专有网络（VPC）部署提供专有网络访问，同时提供更细力度访问控制及更高安全等级保护.构建企业级全托管的数据平台服务.阿里云上下游产品集成.与阿里云 OSS-HDFS/OSS，数据湖构建 DLF，以及 DataWorks 无缝对接，为客户提供最大程度的便利.开放架构与生态集成.
来自：
云产品
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
里云容器服务、弹性容器实例、文件存储 HDFS等核心产品为用户提供了计算资源弹 性扩展、计算资源成本可控的 Spark on Kubernetes解决方案实践参考。场景描述 云原生和大数据时代的到来,用户在拥抱云原生进行容器化改造的同时也专注于数据 分析，希望能够将云原生容器化编排改造带来的计算资源弹性、计算资源成本优化、计算...
一键训练大模型及部署GPU共享推理服务
通过创建ACK集群Pro版，使用云原生AI套件提交模型微调训练任务与部署GPU共享推理服务。支持快速创建Kubernetes集群，白屏配置任务数据共享存储和下载，并通过命令行工具Arena快速提交模型训练任务、部署推理服务。使用云原生AI套件可以让模型训练和推理提效，提高GPU资源利用率。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台一键训练大模型及部署GPU共享推理服务方案介绍方案优势应用场景方案部署方案权益一键训练大模型及部署GPU共享推理服务通过创建ACK集群Pro版，使用云原生AI套件提交模型微调训练任务与部署GPU共享推理服务。支持快速创建Kubernetes集群，...
来自：
解决方案
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云数据库 SelectDB 版产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规常见问题社区云数据库 SelectDB 版基于 Apache Doris 的云原生实时数据仓库，致力于为客户提供极致性能、简单易用的数据分析服务。...
来自：
云产品
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
大数据团队通过阿里云大数据服务MaxCompute来对餐厅或零售店的进、销、存等数据进行H+1/T+1统计，并利用交互式分析Hologres满足对百亿级离线数据进行高并发、秒级的分析处理，提供近80多种不同类型的报表，包括：营业、订单、菜品、会员等报表，为店铺发展提供多维度分析透视和业务探索.二维火大数据负责人 芦丁：.我们基于...
来自：
云产品
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计：利用阿里云官方架构设计模版，在此基础上二次定制（调整规格、资源数量、配置调整）。 快速完成PoC和生产环境的设计和部署
MRACC加速倚天 ECS实例 Flink集群性能 最佳实践 场景描述 本方案为 Flink集群 On阿里云 ECS部署提供一 个性能压测场景，ECS选择倚天 ARM架构实 例。在这个场景中，本方案将提供一个一键部署 的架构模板，并预置了相关软件的安装和压测脚 本的部署，为客户提供一个标准化环境用于测试 Flink 集群 On 倚天实例的性能。应用...
数据管理与服务
数据管理与服务作为阿里云产品六大版块之一，面向不同业务场景，阿里云提供数据存储、分析、应用等全链路能力，满足企业客户全方位的数据处理需求，实现计算和存储分离、资源解耦、数据移动减化，用以满足行业快速发展的需求和趋势，利用数据重塑其业务。
在传统的生产环境中，Spark on YARN 成为主流的任务执行方式，而随着容器化概念以及存算分离思想的普及，尤其是 Spark3.1 版本下该模式的Spark on K8s 已成燎原之势.Spark on k8s 在阿里云 EMR 的优化实践.阿里云数据库率先提出「云原生数据库2.0」概念，通过打造云原生一站式的数据管理与服务，旨在为用户提供更快更稳更...
来自：
云产品
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
SLS多云日志采集、处理及分析 最佳实践 业务架构 场景描述 从第三方云平台或线下 IDC服务器上采集 日志写入到阿里云日志服务，通过日志服 务进行数据分析，帮助提升运维、运营效 率，建立 DT 时代海量日志处理能力。针对未使用其他日志采集服务的用户，推 荐在他云或线下服务器安装 logtail采集并使 用 Https安全传输；针对...
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
可对接开源 Storm/Samza/Spark 以及 EMR、Blink、StreamCompute 等阿里云产品；实时计算 Flink版.云消息队列 MQ.应用实时监控服务 ARMS.推荐搭配使用.近年来KV存储（HBase）、搜索（ElasticSearch）、流式处理（Storm/Spark Streaming/Samza）、时序数据库（OpenTSDB）等专用系统应运而生，产生了同一份数据集需要被注入到...
来自：
云产品
Databricks数据洞察
阿里云Databricks数据洞察是基于Apache Spark的全托管数据分析平台, 内核采用更高效、稳定的商业版Databricks Runtime和Delta Lake。可满足数据分析师、数据工程师和数据科学家在大数据场景下对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等需求
在Apache Spark基础上做了大量的性能优化，且针对阿里云OSS做了I/O优化，提供了更快速、更高效的计算引擎.较开源Delta Lake，功能更完备，对核心功能点均有更深度的优化和性能提升.与阿里云RAM集成，可以根据用户和角色做权限控制，保障数据安全性.统一的大数据管理平台，从上游数据抽取到下游数据分析，贯穿整个数据分析...
来自：
云产品
云数据库MongoDB版
阿里云云数据库MongoDB版是完全兼容MongoDB协议、高度兼容DynamoDB协议的在线文档型数据库服务。支持单节点、双节点、副本集和分片集群四种部署架构，能够满足不同的业务场景需要。
例如与阿里云原生数据湖分析服务DLA的Serverless Spark对接，满足在线交互式查询、批处理、机器学习等诉求.Serverless Spark对接MongoDB快速入门.云上云下数据互通，大数据Spark系统对接应用.数据生态：数据自由流转，应用更灵活.提供CPU利用率、IOPS、连接数、磁盘空间等实例信息实时监控及报警，随时随地了解实例动态....
来自：
云产品
数据湖构建 Data Lake Formation
数据湖构建服务是阿里云上数据湖架构中的核心部分，助力用户构建数据湖系统。支持多数据源实时入湖，实现湖上元数据统一管理，提供企业级权限控制，无缝对接多种计算引擎，打破孤岛，洞察业务价值
构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink 生态大数据 PaaS 产品.提供快速、完全托管的PB级数据仓库解决方案，经济并高效的分析处理海量数据.大数据计算服务·MaxCompute.兼容PostgreSQL协议的实时交互式分析产品.海量、安全、低成本、高可靠的云存储服务，提供99.9999999999%的数据可靠性....
来自：
云产品
日志服务sls
日志服务（Log Service，简称Log）是针对实时数据一站式服务，在阿里集团经历大量大数据场景锤炼而成。无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能，帮助提升运维、运营效率，建立DT时代海量日志处理能力。
提供20+种数据对接手段，无缝对接主流(Flink、Spark等）流计算、数据仓库平台与阿里云众多产品.日志服务最佳实践.鲲鹏展翅凌云志：iLogtail社区2022年度开源报告.阿里十年技术沉淀｜深度解析百PB级数据总线技术.聊聊日志硬扫描，阿里 Log Scan 的设计与实践.日志服务视频专区.Kubernetes 日志采集实操演练.日志服务 Demo ...
来自：
云产品
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组（APG）搭建spark计算集 群，提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用spot实例 交付，最高可省90%成本。 2.稳定可靠：跨可用域、跨实例规格， 降低spot被集体释放的风险；自动托 管，分钟级巡检，动态保证集群的算 力。 3.快速交付：单次可在5分钟内交付 2000个实例。 4.多策略组合：可分别指定spot和按量 实例的交付策略，以及差额补足的策 略，包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一，无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张，无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
本文采用 spark standalone集群模式演示基于弹性供应组构建大数据分析集群，spark standalone集群如下图所示：鉴于大数据集群对 IO高性能的要求，采用阿里云云服务器 ECS本地盘实例：D系列 和 I系列来作为 spark集群节点。1.2.集群计算能力规划 基于降成本的需要，您可以使用弹性供应组同时开出抢占式实例和按量付费实例，...
- 产品推荐
- 这些文档可能帮助您