云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
简化统一开发体验基于 SelectDB 的湖仓互通、轻量级 ELT 能力，无缝完成数据源到数仓的数据同步、清洗过程，无需依赖 Spark 和 Flink。使用 SelectDB 作为统一查询网关，无需进行多系统切换及 SQL 方言兼容处理。极速数据分析基于 SelectDB 领先的查询分析引擎，结合数据缓存、统计信息收集等，SelectDB 分析性能可达 ...
来自：
云产品
云原生数据仓库AnalyticDB MySQL数据仓库
阿里云云原生数据仓库AnalyticDB MySQL版（简称AnalyticDB）是融合数据库、大数据技术于一体的云原生企业级数据仓库平台。云原生数据仓库AnalyticDB MySQL版支持数据实时写入和同步更新、实时计算和实时服务，可用于构建企业级报表系统、数据仓库和数据服务引擎。
更多应用场景请查看.AnalyticDB MySQL使用文档.快速上手AnalyticDB MySQL.查看API使用文档.AnalyticDB MySQL技术交流.流量成本的升高，用户更加成熟，迫使客户需进行更加精细化的市场营销，提供更高品质的产品...——打造一站式实时湖仓，可替换CDH/TDH/开源自建/云服务-Spark/Hive/Presto等.AnalyticDB MySQL湖仓版重磅发布.
来自：
云产品
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组（APG）搭建spark计算集 群，提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用spot实例 交付，最高可省90%成本。 2.稳定可靠：跨可用域、跨实例规格， 降低spot被集体释放的风险；自动托 管，分钟级巡检，动态保证集群的算 力。 3.快速交付：单次可在5分钟内交付 2000个实例。 4.多策略组合：可分别指定spot和按量 实例的交付策略，以及差额补足的策 略，包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一，无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张，无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
基于弹性供应组构建大数据分析集群最佳实践 业务架构 场景描述 基于弹性供应组（APG）搭建 spark计算集 群，提供一键开启跨售卖方式、跨可用区、跨实例规格的计算集群交付模式的实践。方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用 spot实例 交付，最高可省 90%成本。2.稳定可靠：跨可用域、跨实例...
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计：利用阿里云官方架构设计模版，在此基础上二次定制（调整规格、资源数量、配置调整）。 快速完成PoC和生产环境的设计和部署
EIP弹性公网 IP NAT网关 最佳实践频道 阿里云最佳实践分享 群 钉钉扫描二维码 或搜索钉群号 31852400入群 MRACC加速倚天 ECS Flink集 群性能 最佳实践 文档版本：20230801（发布日期）倚天ECS实例加速Flink运行 文档版本信息 文档版本信息 文档信息 属性 内容 文档名称 MRACC加速倚天 ECS实例 Flink集群性能 文档编号 347 ...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
全托管 Spark集群免运维，节省人力成 本。2.Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源 的输入和输出。3.使用 Databricks Runtime商业版引擎相 产品列表 比开源 Spark性能有 3-5倍的提升。Databricks 数据洞察 解决问题 云服务器 ECS 1.Hive数仓数据迁移 OSS...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
（2）本例使用 EMR的 kafka和 spark集群模拟在他云或线下使用开源生态自建的 kafka和 spark集群。(3)本示例使用 SNAT IP池让日志机器组集群具备主动访问公网能力，适合海量日志 机器以及分布式多机房场景 方案优势 以 SLS的核心能力为切入点，从第三方云平台或线下 IDC搬迁客户日志上阿里 云。融合阿里云的日志服务生态，...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
如果我 们想提升作业的运行速度，就需要提升并发的 Spark executor Pod的数量，如果我们 将并发的 Spark executor Pod的数量修改为 10，再次提交作业，由于测试使用的集 群是 2台 2核 8GB的 ECS搭建的，集群资源是非常有限的，因此会出现由于集群 Worker节点的 CPU资源不足无法起更多的 Spark executor Pod导致没有办法提升...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
如果开启了挂载公网和远程登录能力，建议您通过安全组严格控制可以访问 EMR集 群各项服务的来源 IP地址，建议使用最小授权原则和临时授予的方式进行控制。配置完成，单击下一步：确定。文档版本：20200330 16 EMR集群安全认证和授权管理 EMR Kafka安全集群 步骤10 在确认页面，各项信息确认无误后，勾选《E-MapReduce服务...
中小企业自建Hadoop集群上云解决方案
中小企业自建 Hadoop 集群上云解决方案，助力自建 Hadoop 用户快速构建云上半托管开源大数据平台，在保持原组件使用习惯延续的同时，充分利用云上服务特点，更加便捷地迭代企业大数据平台架构，聚焦业务价值开发。
提供高性能、稳定版本 Hadoop、Spark、Hive、Flink、Kafka、Hbase、Presto、Impala、Hudi、ClickHouse 等开源大数据组件，可根据场景灵活搭配使用。采用 JindoFS+OSS，在保证数据可靠性的基础上，性能大幅提升.开源生态，性能优化.分钟级创建集群，支持对集群、节点和服务进行监控和运维操作，大幅提升运维工作效率，让数据...
来自：
解决方案
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。
最佳实践频道 阿里云最佳实践分享群 阿里云 EMR HBase on OSS存算分离 集群快速恢复 最佳实践 文档版本：20220915（发布日期）EMR HBase on OSS存算分离集群快速恢复 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 EMR HBase on OSS存算分离集群快速恢复 文档编号 306 文档版本 V1.1 版本日期 2022-09-15 文档...
中小企业CDH集群上云升级CDP解决方案
中小企业 CDH 集群上云升级 CDP 解决方案，助力原 CDH/HDP 的用户快捷升级到企业级 CDP 环境，并链接阿里云相关产品服务。同时，基于阿里云便捷的基础网络设施和云网络服务，能够快速构建云上云下互联的混合云架构。
基于 Apache Kafka，构建高性能、高可用的流式消息平台，并集合流式场景的其他工具如 NiFi、Flink、Spark Streaming 等，统一通过 CDP 开展相关工作.流式消息处理.流式消息处理.准实时分析需要对变化中的数据提供快速分析能力，包括结合历史数据和实时流数据进行汇总分析、预测和明细查询。在 CDP 平台上通过使用 Kudu+...
来自：
解决方案
一键训练大模型及部署GPU共享推理服务
通过创建ACK集群Pro版，使用云原生AI套件提交模型微调训练任务与部署GPU共享推理服务。支持快速创建Kubernetes集群，白屏配置任务数据共享存储和下载，并通过命令行工具Arena快速提交模型训练任务、部署推理服务。使用云原生AI套件可以让模型训练和推理提效，提高GPU资源利用率。
高效运行AI等异构工作负载云原生AI套件兼容Tensorflow、Pytorch、Horovod、Spark、Flink等主流开源或者用户自有的各种计算引擎和运行时，统一运行各类异构工作负载，统一管理作业生命周期，统一调度任务工作流，保证任务规模和性能。云原生AI套件一方面不断优化运行任务的性能、效率和成本，另一方面持续改善开发运维体验和...
来自：
解决方案
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
同时，JindoFS也提供了外部客户端，能够从集 群外部访问建立在 E-MapReduce集群内的 JindoFS文件系统。数据以 Block形 式存储在后端存储 OSS上，本地 Namespace服务维护元数据信息，该模式在性 能上较优，无论是数据性能还是元数据性能。6.1.HDFS数据迁移到 JindoFS缓存模式存储空间 本实践方案中使用 EMR-3.22.4版本，创建...
Databricks数据洞察
阿里云Databricks数据洞察是基于Apache Spark的全托管数据分析平台, 内核采用更高效、稳定的商业版Databricks Runtime和Delta Lake。可满足数据分析师、数据工程师和数据科学家在大数据场景下对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等需求
快速拉起Spark全托管的集群，操作简单，按需付费.全托管分析平台.用户根据需求设置节点数量，支持集群高可用.支持ECS通用型、计算型和内存型三种实例规格族.集群规模可动态扩展，调整计算资源大小，达到成本最优.多种用户角色共享数据，交互式协同合作.交互式协同工作.可以协同工作的工作空间，交互式的作业执行方式，支持...
来自：
云产品
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
安装 Spark2 说明：由于 Kudu迁移工具需 Spark2支持，CDH5可以支持 Spark和 Spark2两个环 境同时运行，如果集群上没有 Spark2请先进行安装。已经安装的略过此步骤。另外，kudu迁移也可以使用 kudu table copy来实现，也不需要安装 Spark2。把 Sparks2的安装包移动到/opt/cloudera/csd/目录下。mv cdh/spark2/*/opt/cloudera...
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
本方案支持已有 EMR集 群元数据库使用 RDS或内置 MySQL数据库迁移 DLF，通过统一的元数据管理，多种 数据源入湖，搭建高效的数据湖解决方案。名词解释 EMR：Hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera 对 Hadoop 做了相应的改变。Cloudera 公司的发行版，我们将该版本称为 CDH(Cloudera ...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
日志 HIVE分析 基于 DataWorks一站式开发 数据治理 产品列表 最佳实践频道 阿里云最佳实践技术分享群 实时计算、EMR EIP、VPC ECS DataWorks 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于Dataworks的大数据 一站式开发及数据治理 最佳实践 文档版本：20210207 文档版本：20150122（发布日期）II...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
大数据资源规划 资源归属 资源类别 配置项 配置明细 说明 分公司 B EMR 集群名称 emr_project1，emr_project2 分别创建 2个集群 集群类型 Hadoop-产品版本 EMR-3.32.0-付费类型 后付费-可用区 华东 1 可用区 H EMR 集群创建在交换机 vswitch-分公司 B下，可 用区无需手工填写 安全组名称 sg-emr1，sg-emr2 为两个集群分别...
- 产品推荐
- 这些文档可能帮助您