自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
此 时，EMR集群采用计算存储分离的架构，使用 OSS作为 EMR集群的后端存储，不 仅可以使用 OSS的分级存储能力进一步降低数据存储的成本，还可以使用 EMR集群 的 Spark和 Flink等服务直接进行数据分析。步骤1 在已创建的存储空间概览页面，获取 Bucket访问域名，这里我们获取 VPC网络可以 访问的内网域名，在后续步骤进行数据...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
通过 API处理分账账单 阿里云提供了账单相关的 API，来方便与企业现有财务系统进行集成，实现自动的账 单数据分析。API 的使用方法详见《单账户下企业分账最佳实践》（https://bp.aliyun.com/detail/168）。文档版本：20210128 31 多账号下企业分账最佳实践 资源规划清单 附录 1：资源规划清单 网络资源规划 资源归属 资源...
云数据库 Cassandra 版
Cassandra是连续9年DB-Engines排名第一的宽表数据库，支持类SQL语法CQL，开发体验类似MySQL，可扩展PB级存储。推出企业版Lindorm for Cassandra云原生多模数据库，采用存储计算分离架构，支持海量数据的低成本存储和按需付费，具备更高性价比和更为丰富的企业级功能。
Presto满足在线交互式需求.Serverless分析引擎Spark&Presto.Ganos时空数据分析.基于Spark RDD构建了统一的时空数据模型，方便建模.综合治理，支持丰富的自研、开源引擎.Dataworks构建数据湖统一开发平台.云数据库Cassandra版支持节点升配及降配：从容应对可预知的业务潮汐。集群可小可大：单节点起配，起配门槛低。可扩展至...
来自：
云产品
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
云消息队列 Kafka 版支持连接自建 Filebeat 日志采集，经由 Kafka 流转到后方 ES 服务.Hbase、Spark 数据处理.云消息队列 Kafka 版数据导入 Hbase 等存储，实现低成本存储和计算分析.Flink 实时数仓.云消息队列 Kafka 版支持数据流转到 Flink，实现ETL处理、实时数据分析等业务.支持阿里云主子账号、鉴权与授权机制，提供...
来自：
云产品
云原生多模数据库Lindorm
云原生多模数据库Lindorm提供各规模、多模型的云原生数据库服务。可兼容HBase/Cassandra、OpenTSDB、Solr、SQL、HDFS等多种开源标准接口。支持海量数据的低成本存储处理和弹性按需付费，是互联网、IoT、车联网、广告、社交等场景首选数据库，也是为阿里核心业务提供支撑的数据库之一。
通过BDS/DTS等链路服务，可以实现Lindorm与常见存储系统(HBase、MySQL、SLS等)之间的在线实时同步和历史全量搬迁.Lindorm提供统一标准的数据接口及数据格式的按需转换，支持Spark、Flink、DLA、Hive等开放计算引擎进行数据的实时交互分析和批量复杂分析.支持与QuickBI、DataV对接，轻松实现数据的可视化访问和分析.谢赟辉,...
来自：
云产品
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
需要有灵活可扩展的计算平台、弹性可伸缩集群资源及灵活管控的用户 名词解释 Databricks数据洞察：是基于 Apache Spark的全托管大数据分析平台，产品内核 引擎使用 Databricks Runtime，并针对阿里云平台进行优化，使用 Notebook交互 式数据分析，Python库便捷安装，使用 Delta表存储比其他使用 Spark查询性能 有 5-10倍的...
Databricks数据洞察
阿里云Databricks数据洞察是基于Apache Spark的全托管数据分析平台, 内核采用更高效、稳定的商业版Databricks Runtime和Delta Lake。可满足数据分析师、数据工程师和数据科学家在大数据场景下对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等需求
Databricks 数据洞察.Databricks数据洞察是基于Apache Spark的全托管数据分析平台,内核采用更高效稳定的商业版Databricks Runtime和Delta Lake，满足用户对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等场景需求。因产品服务策略调整，本产品将于2023年10月23日停止全面支持，并将于2024年4月23日停止服务....
来自：
云产品
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
SLS多云日志采集、处理及分析 最佳实践 业务架构 场景描述 从第三方云平台或线下 IDC服务器上采集 日志写入到阿里云日志服务，通过日志服 务进行数据分析，帮助提升运维、运营效 率，建立 DT 时代海量日志处理能力。针对未使用其他日志采集服务的用户，推 荐在他云或线下服务器安装 logtail采集并使 用 Https安全传输；针对...
云数据库MongoDB版
阿里云云数据库MongoDB版是完全兼容MongoDB协议、高度兼容DynamoDB协议的在线文档型数据库服务。支持单节点、双节点、副本集和分片集群四种部署架构，能够满足不同的业务场景需要。
可与大数据Spark系统对接，让大数据分析游刃有余。例如与阿里云原生数据湖分析服务DLA的Serverless Spark对接，满足在线交互式查询、批处理、机器学习等诉求.Serverless Spark对接MongoDB快速入门.便捷运维：专业监控和数据库管理平台，主动升级.可视化管理及运维平台，简单易用，系统主动升级至最新可靠版本.提供CPU利用率...
来自：
云产品
云数据库产品总览（瑶池）
阿里云提供完善的数据库解决方案，多款数据库产品，满足99%的业务场景，荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求；运维工作量大幅减少，让企业一站式享受数据上云及分布式架构的技术红利！
将重分析类SQL从RDS切换到ADB高性能库，亿级数据实时秒级拉取，可支持单表记录数百亿级.ADB支持TB-PB级数据分析，并支持垂直、水平平滑扩展，升配和增加节点对业务影响小.引入DLA，利用SLS+OSS+DLA+ADB组合打通数据全生命周期运营分析.覆盖国内外大中小企业，遍布电商新零售、游戏、教育直播、金融、软件服务等多种行业....
来自：
云产品
阿里云大数据&AI
阿里云大数据和AI产品服务。开放数据处理服务ODPS提供强大的数据分析和管理功能；开源大数据产品支持更加灵活地构建大数据平台；AI和机器学习产品提供AI工程平台和智算服务。
《大数据开发治理宝典》.MaxCompute 学习路径.DataWorks学习路径.5分钟快速进行大数据分析.轻松玩转一站式实时仓库.数据湖构建DLF快速入门.国内唯一挺进Forrester全球云数据仓库Wave卓越表现者象限.2021年3月，MaxCompute、DataWorks 等进入 Forrester Wave 2021 Q1 云数据仓库卓越表现者象限，成为入选此次评测的唯一中国...
来自：
云产品
云数据库ClickHouse
云数据库ClickHouse 是阿里云提供的分布式实时分析型列式数据库服务。具有高性能、开箱即用、企业特性支持。广泛应用于流量分析、广告营销分析、行为分析、人群划分、客户画像、敏捷BI、数据集市、网络监控、分布式服务和链路监控等业务场景。
产品功能湖仓一体实时数据分析 兼容开源，内核优化升级，专家服务支持 冷热数据分层存储 基于热存储使用率和TTL 管理数据，根据策略自动进行数据移动，降低存储成本立即查看 OSS 和 ODPS 外表接入 支持OSS 和ODPS外表，基于外部存储实现低成本数据湖分析和数据导入立即查看 资源队列 支持创建定义多个资源队列，将用户和...
来自：
云产品
数据管理与服务
数据管理与服务作为阿里云产品六大版块之一，面向不同业务场景，阿里云提供数据存储、分析、应用等全链路能力，满足企业客户全方位的数据处理需求，实现计算和存储分离、资源解耦、数据移动减化，用以满足行业快速发展的需求和趋势，利用数据重塑其业务。
波克科技股份有限公司通过引入阿里云云原生实时数据仓库AnalyticDB，实现了每日百亿级游戏玩家行为数据的快速分析和处理，大幅降低数据分析成本，相比原有方案，数据处理性能提升10倍以上.网络安全升级支持IPV6.云原生数据仓库 AnalyticDB MySQL版.通过引入Hologres搭建的实时数仓，支撑了百亿级的业务数据复杂多维分析秒级...
来自：
云产品
大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景，包括 Teragen和Terasort测试，TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群，并提供了Teragen和Terasort测试，TestDFSIO测试的测试脚本，便于迅速开展测试。
EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿 里云 OSS和 RDS等）进行数据传输。EMR的 SmartData组件是 EMR Jindo引 擎的主要存储部分，为 EMR各个计算引擎提供统一的存储优化、缓存优化、计算 缓存加速优化和多个存储功能扩展。详见 https://help.aliyun.com/document_detail/28068.html 云架构设计工具 ...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
比如聚合任务按小时、天维度计算的聚合值，清洗任务加工的按天分区表等，在数据对比时就可以根据对应的时间周期来进对比，比如小时周期的任务实际已完整处理多个小时数据 后，就可以对比处理过的小时数 据，而天维度的聚合值，一般就需要等待新任务处理完完整的一天数 据后才能对比。2、数据规模 中小数据规模:建议进行全量...
- 产品推荐
- 这些文档可能帮助您