自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
2.如果线下 IDC的 HDFS数据量在几十 TB甚至 PB级别，建议使用阿里云闪电立 方进行迁移。闪电立方详情请查看 https://www.aliyun.com/product/mgw 本实践方案采用阿里云 Jindo DistCp完成数据迁移，登录 Hadoop-master节点执行以 下命令启动数据迁移：步骤1 通过 SSH远程登录 hadoop-master节点所在的 ECS实例下载 jar包。cd...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
如果线下 IDC的 HDFS数据量在几十 TB甚至 PB级别，建议使用阿里云闪电立 方进行迁移。闪电立方详情请查看 https://www.aliyun.com/product/mgw 本实践方案采用 DistCp完成数据迁移之后，将给出迁移报告，如下图所示：在 EMR集群的 HDFS文件系统/user/hive目录下可以查看到相关的数据：1.查看目标文件夹下文件数量。su-...
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一，主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品，向客户提供高度自动化的标准化产品对网络功能、计算机（虚拟或专用硬件）和数据存储空间进行访问，同时支持灵活扩展，可以直接使用自助服务界面。
阿里云提供高度自动化的标准化产品对网络功能、计算机（虚拟或专用硬件）和数据存储空间进行访问，同时可支持灵活扩展，客户可以直接使用自助服务界面，包括基于网页的用户界面和API接口，对 IT 资源进行轻松的管理控制。云基础产品与基础设施主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品....
来自：
云产品
云存储解决方案
云存储解决方案面向大数据存储、多媒体存储（视频存储）、视频监控、基因生命科学、数据迁移、自动驾驶、在线教育、混合云存储、数据迁移、数据容灾备份等多个行业用户的多元化场景，提供更安全稳定、更优化、无缝上云的智能数据存储服务，为企业上云、实现数字化转型奠定数据基础。
阿里云云存储解决方案是面向多个行业用户的多元化场景，提供更安全稳定、更优化、无缝上云的智能数据存储服务，为企业上云、实现数字化转型奠定数据基础。2020年4月，《阿里云存储产品及应用白皮书》正式发布.频道页banner.谢赟辉,靖鑫,也树.通过与多种实时、离线计算框架、计算服务的对接方式，满足结构化、半结构化、非...
来自：
解决方案
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境，运行药物筛选应用AutodockVina 的场景中，这里采用批处理方式来提交 作业，并可以可视化计算结果。 方案架构 1.计算之前，将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时，将数据从OSS拉取到文件共享存储NAS上 3.计算时，在EHPC集群上进行，计算节点从NAS上读写数据 • 容量型NAS：低成本，大容量 • 性能型NAS：适合高IOPS应用，作为临时目录 • CPFS：适合超大规模，并行度极高的作业 4.计算节点： • 如果对计算时间不敏感，希望低成本运算，可选ECS实例 • 如果时效性要求高，建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大，可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接（moleculardocking）模拟计算进行药物筛选，是模拟小分子配体和生物大分子受体的 相互作用，预测配体和受体的结合模式和亲和力。 • 通常，有很多已有的配体库，如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体，模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体，不同配体之间没有依赖，因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
计算之前，将数据通过互联网/闪电立方/高速通道上传到阿里云 OSS 2.计算时，将数据从 OSS拉取到文件共享存储 NAS上 3.计算时，在 EHPC集群上进行，计算节点从 NAS上读写数据•容量型 NAS：低成本，大容量•性能型 NAS：适合高 IOPS应用，作为临时目录•CPFS：适合超大规模，并行度极高的作业 4.计算节点：•如果对计算时间...
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云AI 助理备案控制台云数据库 SelectDB 版产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规常见问题社区云数据库 SelectDB 版基于 Apache Doris 的云原生实时数据仓库，致力于为客户提供极致性能、简单易用的数据分析服务。...
来自：
云产品
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
互联网电商行业离线大数据分析 最佳实践 业务架构 场景描述 本实践介绍了使用阿里云MaxCompute、数据库（RDS）、DataWorks等产品实现电商网站离线数据分 析，分析后的业务指标数据实时在大屏展示。通过完整 的实践Demo为例，提供从电商网站搭建，数据从RDS 同步到MaxCompute、再到DataWorks进行数据分析，最后在大屏上展示...
DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台。每天阿里巴巴集团内部有数万名数据/算法工程师正在使用DataWorks，承担集团99%数据业务构建。
大润发与阿里云合作启动数据中台项目，15天完成400TB+数据迁移，并基于飞天平台构建了独有的数据中台体系.客如云依托阿里云大数据平台低成本地建设新零售数据中台，并构建实时大屏、商家画像等应用产品赋能商家客户.利用DataWorks数据建模进行整个数仓的规范化设计，让数据仓建设从“人治”走向“法治”.通过国内外研究机构...
来自：
云产品
云原生数据库
PolarDB是阿里云自研的云原生数据库，在存储计算分离架构下，利用了软硬件结合的优势，为用户提供秒级弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态，支持分布式扩展，高度兼容Oracle语法。
为用户提供快速弹性、高性能、海量存储、安全可靠的数据库服务，同时支持阿里云自研Ganos多维多模时空信息引擎及开源PostGIS地理信息引擎.PolarDB PostgreSQL 版.PolarDB 分布式版(PolarDB for Xscale，简称“PolarDB-X”)是阿里云自主设计研发的高性能云原生分布式数据库产品，为用户提供高吞吐、大存储、低延时、易扩展和...
来自：
云产品
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
创建 BDS集群 BDS 是阿里云针对 HBase自主研发的一套迁移同步服务，主要帮助云上的客户进行 自建 HBase、云 HBase集群的数据导入和导出。步骤1 通过连接登录到云数据库 Hbase版控制台 https://hbase.console.aliyun.com/hbase/cn-shanghai/clusters 步骤2 点击创建 bds集群 完成创建后状态运行中：文档版本：20210723 31 自...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
自建 Hadoop数据迁移到阿里云 EMR 场景描述 解决的问题 场景1：自建 Hadoop集群数据（HDFS）迁移到阿 客户自建 Hadoop迁移到阿里云 EMR集群的技 里云EMR集群的 HDFS文件系统；术方案；场景2：自建 Hadoop集群数据（HDFS）迁移到计 基于 IPSec VPN隧道构建安全和低成本数据 算存储分离架构的阿里云 EMR集群，以 OSS 和 传输...
RI和SCU全链路使用实践
场景描述 随着云计算的不断发展，更多的企业会使用云计算，且会有越来 越多的企业和用户开始重视云上使用成本。 其中计算和存储是云资源使用的主要服务之一。采用预留实例券 业务架构（RI）和存储容量单位包（SCU）可以帮助客户灵活的节省成本。 本文提供全链路使用实践，帮助客户快速验证云上服务，更合理 的使用RI/SCU。借助覆盖率指标和智能推荐，有效管理云上资 源成本。 用户价值 使用RI 和SCU，可以灵活抵扣相关资源。随时创建释放， 稳态业务资源效率提高。 一份RI 可以抵扣ECS+ACK+EMR+ECI 等服务，跨服务高 度灵活，无需再分开购买。 SCU可以跨可用区抵扣某个地域下所有类型的按量付费云 盘，简化购买与管理复杂度。 RI+SCU 大幅降低按量场景的计算和存储成本。 产品列表 专有网络VPC、容器服务Kubernetes 版ACK 云服务器ECS、预留实例券RI、存储容量单位包SCU
例如：ecs.g5.xlarge在上海地域目录价为（价格仅为举例，具体价格请参考购买页面）：按量付费：1.770元/每小时 3年期 RI全预付折合小时价格：0.384元/每小时 3年期 RI全预付折合小时价格/按量付费小时价格=0.384/1.770=21.7%，(每种付费 方式的折扣小时价可以在购买页面看见，如下图所示)按天维度的收支平衡点=24 x 21.7%5....
互联网、电商Elasticsearch搜索
场景描述 每一个生活在互联网中的用户，每天都在经 历各种各样的“搜索”，查找电商网站商品、 信用卡账单、查电子发票、查附近的餐厅酒 店、查偶像、查交通等等。相对于传统的关 系型数据库，Elasticsearch只需要几毫秒的 时间，即可查询PB级数据并从中找到匹配 信息。利用Elasticsearch高可用性和易用 性，能够快速处理网站、APP丢给它的文本、 数字、日期、IP以及地理数据。 解决问题 1.电商网站商品、订单、物流等搜索 2.保险行业保单查询 3.互联网教育行业课程搜索 4.O2O行业地理位置搜索等 产品列表 云服务器ECS 专有网络VPC 负载均衡SLB 云数据库RDSMySQL版 Dataworks Elasticsearch 数据传输服务DTS
互联网教育行业课程搜索 产品列表 4.O2O行业地理位置搜索等 云服务器 ECS 专有网络 VPC 负载均衡 SLB 最佳实践频道 阿里云最佳实践分享群 云数据库 RDS MySQL版 Dataworks Elasticsearch 数据传输服务 DTS 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 互联网、电商 Elasticsearch搜索 ...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
基 于阿里云分布式文件系统和 SSD盘高性能存储，RDS支持 MySQL、SQL Server、PostgreSQL、PPAS（Postgre Plus Advanced Server，高度兼容 Oracle数据库）和 MariaDB TX引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解 决方案。详见：https://www.aliyun.com/product/rds/mysql 负载均衡 SLB：阿里云提供全托管...
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
提供丰富的消息类型，满足各种严苛场景下的高级特性需求，当前支持的消息类型涵盖 全面支持阿里云 RAM 主子账号、黑白名单、STS 等功能，支持 TLS 传输加密协议、阿里云 VPC 访问等；高可用松耦合架构设计.通过上、下游业务系统的松耦合设计，即便下游子系统（如物流、积分等）出现不可用甚至宕机，都不会影响到核心交易...
来自：
云产品
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
产品列表 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 弹性公网 IP EIP 云服务器 ECS 消息队列 Kafka版 云数据库 ClickHouse 实时计算 Flink版 如二维码过期，Quick BI数据可视化分析平台 请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于 Flink+ClickHouse 构建实时游戏...
块存储EBS
阿里云块存储EBS是为云服务器ECS提供的低时延、持久性、高可靠的块级随机存储，拥有丰富的产品类型，多元的存储特性，适用于自建数据库加速，快照数据保护等场景，ESSD PL3规格最高可提供100万IOPS以及4000MB/S吞吐能力，有效提升存储性能，大大降低成本。
通过阿里云密钥管理服务(KMS)，针对云盘以及快照提供 BYOK 加密能力，加解密操作对于业务性能基本无损.多元的企业级块存储特性.提供云盘加密、弹性扩展、共享挂载、在线变配等传统企业级 SAN 存储特性，满足线下业务无缝迁移上云.采用全新架构的 ESSD 系列云盘最低能够提供百微秒写时延，可满足高性能数据库负载.单盘最高...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您