自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
详 见：https://www.aliyun.com/product/developerservices/cadt OSS 阿里云对象存储服务（Object Storage Service，简称 OSS）为您提供基于网 络的数据存取服务。使用 OSS，您可以通过网络随时存储和调用包括文本、图 片、音频和视频等在内的各种非结构化数据文件。ElasticSearch Elasticsearch是一个高度可扩展的开源全文...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
自建 Hadoop数据迁移到阿里云 EMR 场景描述 解决的问题 场景1：自建 Hadoop集群数据（HDFS）迁移到阿 客户自建 Hadoop迁移到阿里云 EMR集群的技 里云EMR集群的 HDFS文件系统；术方案；场景2：自建 Hadoop集群数据（HDFS）迁移到计 基于 IPSec VPN隧道构建安全和低成本数据 算存储分离架构的阿里云 EMR集群，以 OSS 和 传输...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
步骤3 查看最新生成的 distcp日志文件，当任务成功完成时，可以查看到相关报告：文档版本：20210425 28 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 Hive数据迁移 cat distcp.log 登录阿里云 OSS文件存储系统/user/hive目录下可以查看到相关的数据。3.2.将自建 Hive元数据库进行转储 在本实践方案中自建 Hive ...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
专有网络 VPC 阿里云交换机 解决问题 阿里云安全组•快速搭建起数据处理全链路 阿里云函数计算(FC)•全链路自适应弹性，无需为流量峰谷做频繁 对象存储 OSS 的手工处理 阿里云云消息队列 Kafka 版•内置 CICD平台能力，灰度，回滚，监控开箱 云速搭 CADT 即用•按量付费，没有资源闲置费用 最佳实 践频道 ...
自建K8S迁移镜像、应用至阿里云ACK最佳实践
云原生技术K8S以其易管控，自动化操作，自修复等特点充分满足了企业的需求，越来越多的企业都加入容器化这个队伍中。但随着技术的更新迭代，自建的K8S相关的容器镜像服务、集群管理、稳定性保障也让企业IT人员感觉到压力，所以上云成了一些企业的选择，将底层的IAAS基础设施和K8S的基础PASS能力交给阿里云来管理，企业本身抽出更多精力聚焦业务的创新。针对以上需求通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK。 针对以上需求场景通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK；本文通过使用河源的ECS自建K8S集群和Harbor镜像仓库来模拟IDC环境
开通如下服务： 对象存储 OSS 云架构设计工具 CADT 容器服务 Kubernetes 版 ACK 容器镜像服务 ACR 2 文档版本：20200525 自建 K8S迁移镜像、应用至阿里云 ACK 测试资源准备 背景信息 在本章中，将以阿里云河源地域模拟线下 IDC，使用云架构设计工具 CADT快速创建 IDC的 K8S集群所需的基础资源。1.1.资源规划...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
E-MapReduce 阿里云 E-MapReduce（EMR）是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink生态大数据 PaaS 产品。提供用户在云上使用开源 技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的 文档版本：20210721 III 自建Hive数据仓库跨版本迁移到阿里云 EMR 前言 大数据...
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业，从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节， 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）、迁云工具（SMC）、数据库 （RDS）、数据库（Redis）、数据传输（DTS）、 负载均衡（SLB）、专有络（VPC）等
小型互联网迁移阿里云 最佳实践 业务架构图 场景描述 本方案主要适用于中小型互联网企业，从他云迁移到 阿里云，方案涉及网络规划、服务器、数据库、存储 数据、Kafka和镜像数据的迁移方案内容；同时在实 践环节，增加服务器和 RDS的迁移操作演练和验证。解决问题 提供服务器、数据库等关键环节的平滑迁移方案 提供云上高...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
文档版本：20210802（发布日期）87阿里云最佳实践金融大数据WorkShop 利用QuickBI进行展示 步骤2 选择数据库shop_a，找到trade_age_d拖动到上方的编辑框里。步骤3 将ds转换为时间维度类型。文档版本：20210802（发布日期）88阿里云最佳实践金融大数据WorkShop 利用QuickBI进行展示 步骤4 添加age_range计算字段。因为原始...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
云原生数据仓库AnalyticDB PostgreSQL版
阿里云MPP架构的云原生数据仓库，可提供PB级海量数据在线/离线分析服务，是面向各行各业的有竞争力的数仓方案，真正做到“人人可用的数据分析服务”。
阿里云百炼推荐规格：4C16GB 100GB 新用户免费试用1个月！试用后原实例续费1-3月享6折优惠！企业大模型云上大脑.企业大模型云上大脑.企业大模型云上大脑.谢赟辉,靖鑫,也树.孙慧颖,靖鑫,也树.AnalyticDB PostgreSQL 4C16G 新用户首购1-3个月享6折优惠！AnalyticDB PostgreSQL 7.0版推出高性价比经济版.阿里云百炼xADB-PG推出...
来自：
云产品
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
MaxCompute 对于海量数据的存储、运维、计算能力强大且安全稳定，阿里云 MaxCompute 将原本需要清算8小时的用户交易数据缩短至1个半小时完成清算，同时减少了本地服务器部署压力，显著提升我们工作效率的同时减少了大量开发成本和人力成本，使我们能更专注于业务发展，为用户提供高品质、高价值的金融服务.大数据技术总监 ...
来自：
云产品
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
基于OSSObjectFC实现非结构化文件实时处理最佳实践 业务架构 场景描述 基于阿里云OSS和函数计算共同实现的产品化 集成解决方案OSSObjectFC，实现可以OSS 中的非结构化数据在读取时插入自定义业务逻 辑，对非结构化数据做实时处理后再返回。应用场景 现在绝大多数客户都有很多非结构化的数据存 在OSS中，以图片，视频，音频...
云备份 Cloud Backup
云备份 Cloud Backup作为阿里云数据统一灾备平台，是一种简单易用的公共云灾备服务，可以为阿里云ECS上的数据库、文件系统、NAS、OSS以及自建机房内的文件、虚拟机、大规模NAS等提供安全、高效的备份和容灾保护。图形化界面集中配置备份策略，并完全托管备份活动，轻松满足业务与合规需求。
客户需要一个全自动、高效易用的专业备份工具来保护阿里云OSS和NAS，在数据误删除或者运维失误时可以快速、精准地恢复数据.Cloud Backup的OSS/NAS无代理备份功能实现了无需备份代理ECS，由Cloud Backup服务集群完成备份，直接在Cloud Backup控制台选择需要备份的OSS bucket及NAS文件系统，集中配置策略，统一管理....
来自：
云产品
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业，将线下视频文件通过混合云阵列缓存后，通过专线上传到阿里云OSS上。 也适用于其他混合云场景中，利用阵列缓存文件，并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道（专线）
阿里云对象存储OSS：海量、安全、低成本、高可靠的云存储服务，提供 99.9999999999%的数据可靠性。使用RESTfulAPI可以在互联网任何位置存储和访 问，容量和处理能力弹性扩展，多种存储类型供选择全面优化存储成本。详见 https://www.aliyun.com/product/oss 混合云阵列：集成了阿里云云存储网关的企业级统一存储阵列，...
文件下载加速及成本优化
方案使用阿里云CDN来加快源站内容的分发速度，通过分布于全球的CDN节点来缓存源站的文件内容，并且调度用户请求到最近的CDN节点上快速下载所需文件，因此能够加快文件下载速度，提高网站性能。核心优势包括改善用户体验，提高网站可访问性，在降低源站服务器负载的同时，还能够节约源站的流量成本。
架构与部署 文件下载加速及成本优化 使用阿里云OSS存储服务来存储电商网站的图片资源，在阿里云CDN产品上添加电商网站的访问域名，配置CDN加速域名的源站地址为阿里云OSS，并开启CDN加速域名的文件缓存功能。用户在访问电商网站域名的时候，将被DNS调度到CDN节点，从而直接访问到CDN节点上缓存的文件资源。立即部署 30分钟 ...
来自：
技术解决方案
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法，自动识别冷热数据，将热数据保留在本地缓存，保证数据访问体验，无感知的将海量云存储数据接入本地数据中心，拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及，越来越多的用户把自己的业务放到了云上。但是随着业务的发展，如何提高业务的可靠性和连续性，跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持，可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例，对接同一个阿里云OSS Bucket，可以实现快速的异地文件共享和分发，非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合，老业务是从数据中心迁移过来的使用的是标准的存储协议，例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术，支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情，云存储网关正好起到一个桥梁的作用，可以便捷的沟通新旧业务，进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具，用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低)，同时挂 载在用户的客户端需要额外的配置和缓存资源，对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关，用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
对象存储 OSS：阿里云对象存储 OSS（Object Storage Service）是一款海量、安 全、低成本、高可靠的云存储服务，提供 99.9999999999%(12个 9)的数据持久 性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。详见：https://www.aliyun.com/product/oss 访问控制 RAM：RAM 使您能够安全地集中管理对阿里云服务...
数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
应用范围 通过在线迁移服务将本地 IDC或者友商的存储数据迁移至阿里云对象存储 OSS。云上客户通过云企业网+在线迁移服务实现跨区域进行 NAS数据增量迁移。通过 ossimport或者 rsync等第三方开源命令迁移数据。名词解释 对象存储 OSS：Object Storage Service，简称 OSS，是阿里云提供的海量、安 全、低成本、高可靠的云存储...
- 产品推荐
- 这些文档可能帮助您