多源集成，极致性能，搭建轻量OLAP分析平台
本方案基于阿里云Hologres和DataWorks数据集成，通过简单的产品操作即可完成数据库RDS实时同步数据到Hologres，并通过Hologres强大的查询分析性能，完成一站式高性能的OLAP数据分析。
本方案基于阿里云Hologres和DataWorks数据集成，通过简单的产品操作即可完成数据库RDS实时同步数据到Hologres，并通过Hologres强大的查询分析性能，完成一站式高性能的OLAP数据分析。多源集成，极致性能，搭建轻量OLAP分析平台 本方案基于阿里云Hologres和DataWorks数据集成，通过简单的产品操作即可完成数据库RDS实时同步...
来自：
技术解决方案
从海量到价值，泛时序数据一站式分析与洞察
泛时序数据广泛存在于车联网、工业物联网、金融交易、股票分析等业务场景。随着业务增长带来的数据量激增，如何高效地获取和分析这些数据成为业务洞察和决策的关键挑战，Lindorm作为阿里云自研的云原生多模数据库，具备低成本存储、弹性高可用的能力，提供一站式的分析与洞察。
随着业务增长带来的数据量激增，如何高效地获取和分析这些数据成为业务洞察和决策的关键挑战，Lindorm作为阿里云自研的云原生多模数据库，具备低成本存储、弹性高可用的能力，提供一站式的分析与洞察。从海量到价值，泛时序数据一站式分析与洞察 泛时序数据广泛存在于车联网、工业物联网、金融交易、股票分析等业务场景。...
来自：
技术解决方案
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
如果线下 IDC的 HDFS数据量在几十 TB甚至 PB级别，建议使用阿里云闪电立 方进行迁移。闪电立方详情请查看 https://www.aliyun.com/product/mgw 本实践方案采用 DistCp完成数据迁移之后，将给出迁移报告，如下图所示：在 EMR集群的 HDFS文件系统/user/hive目录下可以查看到相关的数据：1.查看目标文件夹下文件数量。su-...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
2.如果线下 IDC的 HDFS数据量在几十 TB甚至 PB级别，建议使用阿里云闪电立 方进行迁移。闪电立方详情请查看 https://www.aliyun.com/product/mgw 本实践方案采用阿里云 Jindo DistCp完成数据迁移，登录 Hadoop-master节点执行以 下命令启动数据迁移：步骤1 通过 SSH远程登录 hadoop-master节点所在的 ECS实例下载 jar包。cd...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
创建 BDS集群 BDS 是阿里云针对 HBase自主研发的一套迁移同步服务，主要帮助云上的客户进行 自建 HBase、云 HBase集群的数据导入和导出。步骤1 通过连接登录到云数据库 Hbase版控制台 https://hbase.console.aliyun.com/hbase/cn-shanghai/clusters 步骤2 点击创建 bds集群 完成创建后状态运行中：文档版本：20210723 31 自...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
本方 案接受如何将自建开源 Flink集群的流式任务（包含 Datastream、Table/SQL、PyFlink 任务）迁移至阿里云实时计算全托管版。名词解释 Flink全托管产品（Flink VVP）：是阿里云基于 Apache Flink 构建的企业级、高 性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商 业化品牌，完全兼容开源 ...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
自建 Hadoop数据迁移到阿里云 EMR 场景描述 解决的问题 场景1：自建 Hadoop集群数据（HDFS）迁移到阿 客户自建 Hadoop迁移到阿里云 EMR集群的技 里云EMR集群的 HDFS文件系统；术方案；场景2：自建 Hadoop集群数据（HDFS）迁移到计 基于 IPSec VPN隧道构建安全和低成本数据 算存储分离架构的阿里云 EMR集群，以 OSS 和 传输...
云存储解决方案
云存储解决方案面向大数据存储、多媒体存储（视频存储）、视频监控、基因生命科学、数据迁移、自动驾驶、在线教育、混合云存储、数据迁移、数据容灾备份等多个行业用户的多元化场景，提供更安全稳定、更优化、无缝上云的智能数据存储服务，为企业上云、实现数字化转型奠定数据基础。
阿里云云存储解决方案是面向多个行业用户的多元化场景，提供更安全稳定、更优化、无缝上云的智能数据存储服务，为企业上云、实现数字化转型奠定数据基础。2020年4月，《阿里云存储产品及应用白皮书》正式发布.频道页banner.谢赟辉,靖鑫,也树.通过与多种实时、离线计算框架、计算服务的对接方式，满足结构化、半结构化、非...
来自：
解决方案
E-MapReduce Serverless StarRocks 版
E-MapReduce Serverless StarRocks版简称EMR StarRocks，是阿里云提供的全托管服务，内核100%兼容StarRocks，性能比传统OLAP引擎提升3-10倍，助力企业高效构建湖仓分析、高并发查询及实时分析等大数据应用。
开源大数据平台 E-MapRedue.E-MapReduce Serverless StarRocks 版.E-MapReduce Serverless StarRocks 版是阿里云提供的 Serverless StarRocks 全托管服务，提供高性能、全场景、极速统一的数据分析体验，具备开箱即用、弹性扩展、监控管理、慢 SQL 诊断分析等全生命周期能力。内核 100%兼容 StarRocks，性能比传统 OLAP ...
来自：
云产品
互联网、电商Elasticsearch搜索
场景描述 每一个生活在互联网中的用户，每天都在经 历各种各样的“搜索”，查找电商网站商品、 信用卡账单、查电子发票、查附近的餐厅酒 店、查偶像、查交通等等。相对于传统的关 系型数据库，Elasticsearch只需要几毫秒的 时间，即可查询PB级数据并从中找到匹配 信息。利用Elasticsearch高可用性和易用 性，能够快速处理网站、APP丢给它的文本、 数字、日期、IP以及地理数据。 解决问题 1.电商网站商品、订单、物流等搜索 2.保险行业保单查询 3.互联网教育行业课程搜索 4.O2O行业地理位置搜索等 产品列表 云服务器ECS 专有网络VPC 负载均衡SLB 云数据库RDSMySQL版 Dataworks Elasticsearch 数据传输服务DTS
互联网教育行业课程搜索 产品列表 4.O2O行业地理位置搜索等 云服务器 ECS 专有网络 VPC 负载均衡 SLB 最佳实践频道 阿里云最佳实践分享群 云数据库 RDS MySQL版 Dataworks Elasticsearch 数据传输服务 DTS 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 互联网、电商 Elasticsearch搜索 ...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
文档版本：20211213 1 基于 MaxCompute的大数据 BI分析 最佳实践概述 方案优势 以 Hologres+QuickBI快速实时数据分析的核心能力为切入点，将客户的业务数 据、日志数据引导至阿里云的日志服务和分析性数据库。融合阿里云的日志服务 SLS 的生态，增强用户体验(如无缝对接 Flink、Elasticsearch、RDS、Hologres、EMR、dataV ...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
基 于阿里云分布式文件系统和 SSD盘高性能存储，RDS支持 MySQL、SQL Server、PostgreSQL、PPAS（Postgre Plus Advanced Server，高度兼容 Oracle数据库）和 MariaDB TX引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解 决方案。详见：https://www.aliyun.com/product/rds/mysql 负载均衡 SLB：阿里云提供全托管...
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
在衡量了投入产出比后，我们选择了阿里云 MaxCompute 作为快狗打车离线数据处理平台，不仅机器成本节约30%以上，MaxCompute 配套的调度与数据开发流程使得数据开发效率提升了100%，同时，阿里云的24小时运维服务保证了集群稳定，实现了零故障.大数据负责人 郭璐.MaxCompute承担了唱吧全部的离线计算工作。每天有近千个任务...
来自：
云产品
DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台。每天阿里巴巴集团内部有数万名数据/算法工程师正在使用DataWorks，承担集团99%数据业务构建。
大润发与阿里云合作启动数据中台项目，15天完成400TB+数据迁移，并基于飞天平台构建了独有的数据中台体系.客如云依托阿里云大数据平台低成本地建设新零售数据中台，并构建实时大屏、商家画像等应用产品赋能商家客户.利用DataWorks数据建模进行整个数仓的规范化设计，让数据仓建设从“人治”走向“法治”.通过国内外研究机构...
来自：
云产品
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
产品列表 专有网络 VPC 日志服务 SLS 链路追踪 Tracing Analysis 云服务器 ECS 云数据库 RDS 最佳实践频道 阿里云最佳实践技术分享群 函数计算 FC 消息队列 Kafka 版 性能测试 PTS 云速搭 CADT 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 Function Compute构建...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
3.理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方 法。前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解 2.2.项目需求及架构设计 2.2.1.项目需求分析 1.实时采集埋点日志数据 2.实时采集业务数据库中数据 3.对数据进行清洗和处理 4.保存数据到分析型数据库 5.对结果进行...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
- 产品推荐
- 这些文档可能帮助您