CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
安装 Spark2 说明：由于 Kudu迁移工具需 Spark2支持，CDH5可以支持 Spark和 Spark2两个环 境同时运行，如果集群上没有 Spark2请先进行安装。已经安装的略过此步骤。另外，kudu迁移也可以使用 kudu table copy来实现，也不需要安装 Spark2。把 Sparks2的安装包移动到/opt/cloudera/csd/目录下。mv cdh/spark2/*/opt/cloudera...
Databricks数据洞察
阿里云Databricks数据洞察是基于Apache Spark的全托管数据分析平台, 内核采用更高效、稳定的商业版Databricks Runtime和Delta Lake。可满足数据分析师、数据工程师和数据科学家在大数据场景下对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等需求
快速拉起Spark全托管的集群，操作简单，按需付费.用户根据需求设置节点数量，支持集群高可用.支持ECS通用型、计算型和内存型三种实例规格族.集群规模可动态扩展，调整计算资源大小，达到成本最优.多种用户角色共享数据，交互式协同合作.可以协同工作的工作空间，交互式的作业执行方式，支持Spark、PySpark、Spark R和Spark ...
来自：
云产品
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
本方案支持已有 EMR集 群元数据库使用 RDS或内置 MySQL数据库迁移 DLF，通过统一的元数据管理，多种 数据源入湖，搭建高效的数据湖解决方案。名词解释 EMR：Hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera 对 Hadoop 做了相应的改变。Cloudera 公司的发行版，我们将该版本称为 CDH(Cloudera ...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
日志 HIVE分析 基于 DataWorks一站式开发 数据治理 产品列表 最佳实践频道 阿里云最佳实践技术分享群 实时计算、EMR EIP、VPC ECS DataWorks 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于Dataworks的大数据 一站式开发及数据治理 最佳实践 文档版本：20210207 文档版本：20150122（发布日期）II...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
大数据资源规划 资源归属 资源类别 配置项 配置明细 说明 分公司 B EMR 集群名称 emr_project1，emr_project2 分别创建 2个集群 集群类型 Hadoop-产品版本 EMR-3.32.0-付费类型 后付费-可用区 华东 1 可用区 H EMR 集群创建在交换机 vswitch-分公司 B下，可 用区无需手工填写 安全组名称 sg-emr1，sg-emr2 为两个集群分别...
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
与Flink、Spark等计算框架原生集成，通过内置Connector，支持高通量数据实时写入与更新，支持源表、结果表、维度表多种场景，支持多流合并等复杂操作.数据实时写入即可查询，支持DB、Schema、Table三级体系，支持视图View，原生支持Update/Delete，支持关联、嵌套、窗口等丰富表达能力，支持半结构JSON数据.支持表更新事件...
来自：
云产品
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
本实例架构图:文档版本：20210803（发布日期）11阿里云最佳实践金融大数据WorkShop 最佳实践项目实践（注：CADT暂不支持创建实时计算Flink集群，下一章节将通过页面创建）需要注意：使用CADT进行资源创建时，所有的实例名需要设置为自定义名称 步骤1 登录CADT控制台。...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
借助EMR 可以简单快速的构建一个基于 Hadoop，Spark，Hive等大数据产品的计算集群，而且可以按需使用，其所有 Job完 文档版本：20200331 5数据湖-在线学习场景数据分析 数据湖 成之后，销毁集群，因为所有的数据都保存在OSS。此外，对于Hadoop集群上的任务，不同类型的任务对于机器配置的要求不同，比如 推荐和算法业务可能...
容器服务Serverless版
容器服务Serverless版是一款基于阿里云弹性计算基础架构，完全兼容Kuberentes生态，安全、可靠的容器产品。通过该产品，无需管理和维护节点即可快速创建Kuberentes容器应用，并且根据应用配置的CPU和内存资源量按需付费，使您更专注应用本身，而非运行应用的基础设施。
加入容器服务/ECI体验交流群咨询产品相关事宜，专家来为您解答哟~.容器服务 Serverless 版 ACK Serverless.容器服务 Serverless 版（简称 ACK Serverless）是一款基于阿里云弹性计算基础架构，同时完全兼容 Kubernetes 生态，安全、可靠的容器产品。通过该产品，您无需管理和维护集群即可快速创建 Kubernetes 容器应用，...
来自：
云产品
云数据库ClickHouse
云数据库ClickHouse 是阿里云提供的分布式实时分析型列式数据库服务。具有高性能、开箱即用、企业特性支持。广泛应用于流量分析、广告营销分析、行为分析、人群划分、客户画像、敏捷BI、数据集市、网络监控、分布式服务和链路监控等业务场景。
从 MySQL,Kafka,SLS,OSS,Spark,Flink 数据接入 BI可视化 QuickBI可视化对接 集群扩容 集群扩缩容 发布说明 ClickHouse 23.8(LTS)版本发布产品规格 新用户购买 单副本版 首月低至9.9元，新用户购 买企业版存储包，企业版计算资源包 低至0.4折。了解更多详情社区兼容版-单副本版 分片单副本，更低成本，更高性能 询价中 立即...
来自：
云产品
云数据库产品总览（瑶池）
阿里云提供完善的数据库解决方案，多款数据库产品，满足99%的业务场景，荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求；运维工作量大幅减少，让企业一站式享受数据上云及分布式架构的技术红利！
完全兼容MongoDB协议,支持副本集和分片集群两种部署架构，具备安全审计，时间点备份等多项企业能力.云原生数据仓库 AnalyticDB MySQL 版.功能丰富、高性能、低成本、灵活易用的数据仓库服务，全面兼容MySQL协议以及SQL:2003 语法标准.云原生数据仓库 AnalyticDB PostgreSQL 版.支持SQL:2003，兼容PostgreSQL/Greenplum,高度...
来自：
云产品
云数据库 Cassandra 版
Cassandra是连续9年DB-Engines排名第一的宽表数据库，支持类SQL语法CQL，开发体验类似MySQL，可扩展PB级存储。推出企业版Lindorm for Cassandra云原生多模数据库，采用存储计算分离架构，支持海量数据的低成本存储和按需付费，具备更高性价比和更为丰富的企业级功能。
自动Repair，避免幽灵Key.Quorum协议造成多个Replica数据可能不一致，而Repair是集群各副本保证一致性的兜底措施，官方建议7天到10天内需做一次集群Repair。云数据库Cassandra版在维护时间段，定期自动Repair，避免幽灵Key等问题。对Repair任务智能化流控，资源开销低，避免影响应用.谢赟辉,靖鑫,也树.广泛用于安全风控、...
来自：
云产品
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
可用区M 支持导入已保 有资源 IPv4网段 192.168.0.0/24 安全组：系统默认配置，自动创建 基于模版新建 名称：project-emr 可选服务：如果更换地域 付费类型：按量付费 OSS-HDFS、Hadoop-Common、或者可用区，业务场景：新版数据湖 Hive、Spark3、Tez、YARM 注意规格 元数据：DLF统一元数据 EMR 集群存储根路径：勾选：挂载...
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
为云上网络配置互联网出口 注册集群前，需要为其创建 VPC资源并配置其互联网访问能力，本实践中将 K8S集 群注册至阿里云华东 1（杭州）地域的 ACK服务，故在华东 1（杭州）创建 VPC。本实践 CADT模板已创建相关资源，需要为 NAT网关配置 SNAT条目。操作步骤 步骤1 登录 NAT 网关控制台华东 1(杭州)地域。...
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
自动故障节点迁移与数据平衡问题 产品列表 最佳实践频道 阿里云最佳实践技术分享群 EMR（E-MapReduce）本地盘 专有网络 VPC 企业上云实践 EMR本地盘实例大规模数据集测试最佳实践 阿里云 企业上云实践 EMR本地盘实例大规模 数据集测试最佳实践 文档版本：20191111（发布日期）文档版本：20191111（发布日期）2 EMR本地盘...
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
数据备份与恢复.MaxCompute开发者技术圈.MaxCompute介绍、入门、案例、评测等.MaxCompute全套攻略集.常见问题供开发者查阅参考.MaxCompute百问集锦.数据仓库、日志分析、机器学习等典型场景的行业客户最佳实践.MaxCompute最佳实践.与业内资深专家互动，关注精彩大咖博文.MaxCompute云栖号.更低成本的整体硬件资源.现有...
来自：
云产品
数据管理与服务
数据管理与服务作为阿里云产品六大版块之一，面向不同业务场景，阿里云提供数据存储、分析、应用等全链路能力，满足企业客户全方位的数据处理需求，实现计算和存储分离、资源解耦、数据移动减化，用以满足行业快速发展的需求和趋势，利用数据重塑其业务。
在传统的生产环境中，Spark on YARN 成为主流的任务执行方式，而随着容器化概念以及存算分离思想的普及，尤其是 Spark3.1 版本下该模式的Spark on K8s 已成燎原之势.基于云原生分布式数据库 PolarDB-X构建了全部业务系统，既支持了海量大数据的处理能力，又支持高并发、高可用和很强的弹性伸缩能力.云原生分布式数据库 ...
来自：
云产品
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
自建 Hive数据仓库跨版本迁移到阿里云 EMR 场景描述 解决的问题 客户在IDC或者公有云环境自建Hadoop集群构建 Hive数据仓库的数据迁移方案 数据仓库和分析系统，购买阿里云 EMR集群之后，Hive元数据库的迁移方案 涉及到将数据仓库和Hive元数据的数据库迁移上 Hive跨版本迁移后的数据订正 云。目前主流 Hive数据仓库迁移场景...
- 产品推荐
- 这些文档可能帮助您