自建Hive数仓迁移到阿里云EMR
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统,购买阿里云EMR集群之 后,涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本),涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
底层数据迁移 保存在 HDFS的数据可通过 Hadoop原生的 DistCp工具进行迁移,详细迁移方案 请参考:《自建 Hadoop数据迁移到阿里云 EMR》最佳实践(https://www.aliyun.com/acts/best-practice/preview?id=162538)Hive元数据库迁移 Hive元数据信息通常保存在客户自建的 MySQL数据库中,可通过 mysqldump 将数据库进行...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
Serverless图片分类和身份证过滤
Serverless图片分类和身份证过滤
场景描述 场景一:大型图库智能管理通过深度学习算法,自动识别图像中的常见的场景,客户可以基于函数计算对接智能媒体管理的图像识别功能,轻松实现图片的自动管理和分组,完成大型图像库的智能管理。 场景二:身份证图片过滤 通过扫描存储在OSSbucket中的图片,通 过智能媒体管理进行身份证识别,找到海量图片中的身份证图片,对敏感信息进行处理。 解决问题 1.通过无服务器计算实现图片处理自动化 2.OSS触发器的使用 3.使用函数计算调用阿里云的AIP或SDK 产品列表 函数计算 智能媒体管理IMM 对象存储OSS
图片自动分类架构图 场景描述 场景一:大型图库智能管理 通过深度学习算法,自动识别图像中的常见 的场景,客户可以基于函数计算对接智能媒 体管理的图像识别功能,轻松实现图片的自 动管理和分组,完成大型图像库的智能管 理。2.身份证过滤架构图 场景二:身份证图片过滤 通过扫描存储在 OSS bucket中的图片,通 过智能...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算,智能媒体管理
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
通过 CADT搭建资源环境 本实例架构图:步骤1 登录 CADT控制台。(https://bpstudio.console.aliyun.com)步骤2 使用官方模板库搭建资源环境,单击新建>官方模板库新建。步骤3 可根据关键字找到本实践官方模板,单击基于方案新建。文档版本:20210425 3 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 基础环境...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
ACK容器平台集群安全控制
ACK容器平台集群安全控制
场景描述 本方案实践主要是通过一些实践示例来介绍 用户对于在阿里云上使用Kubernetes集群服 务的容器平台安全管控的实践验证与使用建 议。 方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 解决问题 容器集群API Server的安全访问控 制 容器服务多租户场景下的授权管理 容器中的敏感信息数据的存储 容器服务集群安全策略配置管理 产品列表 容器服务Kubernetes版 负载均衡SLB 专有网络VPC 访问控制RAM
步骤5 系统基于模板生成应用架构图。说明:ACK节点中的密钥对选择步骤一中创建的密钥对 步骤6 配置完成后,单击右上角的保存按钮,填好自定义应用名称,单击确认。文档版本:20220207 3 ACK容器平台集群安全控制最佳实践 创建基础环境 步骤7 单击部署应用。步骤8 进行资源校验,验证成功后,点击下一步:价格清单。文档版本...
来自: 最佳实践 | 相关产品:专有网络 VPC,负载均衡 SLB,容器服务 ACK,访问控制,云速搭
互联网业务全球化互通组网
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户,希望借助全球 互通的网络,实现多地域的互通。 同时在全球互联的网络下,搭建应用多地部署。如果 业务中涉及到高速通道,提供高速通道迁移云企业网 的操作演练;涉及到跨账号多VPC下的数据迁移和 同步,本方案提供详细的操作步骤,帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通,特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网(CEN)、云服务器(ECS)、数据库(RDS)、 数据库(Redis)、数据传输(DTS)、负载均衡(SLB) 块存储、专有网络(VPC)
互联网业务全球化互通组网 最佳实践 业务架构图 场景描述 本方案适用从事全球化业务的客户,希望借助全球 互通的网络,实现多地域的互通。同时在全球互联的网络下,搭建应用多地部署。如果 业务中涉及到高速通道,提供高速通道迁移云企业网 的操作演练;涉及到跨账号多 VPC下的数据迁移和 同步,本方案提供详细的操作步骤,...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,数据传输,云企业网
SLS多云日志采集、处理及分析
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务,通过日志服务 进行数据分析,帮助提升运维、运营效率, 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户,推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输;针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况,可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
部署完成后,可以下载 CADT输出的部署报告,包含以下内容以备查阅:文档版本:20211203 8 SLS多云日志采集、处理及分析 环境资源部署 类别 部署报告 部署方案架构图 成本测算 – 预付费资源成本详情和占比 – 后付费资源成本详情和占比 资源部署实例清单 文档版本:20211203 9 SLS多云日志采集、处理及分析 Logtail日志采集...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS),NAT网关,E-MapReduce,全站加速 DCDN,云速搭CADT
AK防泄漏
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据,AK是软件程序访问阿里云资源的凭据。 如果AK被泄露,那么会造成非常严重的后果, 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿,等等。采用合适的方式来使用、 保护AK,是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
改进已经错误使用 AK的方法 demo架构图:产品列表 访问控制 RAM 云服务器 ECS 操作审计 Action Trail 云安全中心 最佳实践频道 阿里云最佳实践分享群 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 AK防泄漏 最佳实践 文档版本:20220211 文档版本:...
来自: 最佳实践 | 相关产品:云服务器ECS,访问控制,云安全中心,操作审计,云速搭CADT
电商网站业务安全
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段,但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜,都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验,为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
电商网站业务安全 最佳实践 业务架构图 场景描述 业务运营活动是电商行业开展业务必不可少的 手段,但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜,都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验,为云上客户提供完整的电 商网站运营期间的防护方案。解决问题 1.保障...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,DDoS防护,风险识别,爬虫风险管理,云速搭CADT
EHPC工业仿真
EHPC工业仿真
场景描述 本实践适用于使用弹性高性能计算EHPC+ 对象存储OSS运行仿真软件进行模型仿真 的场景中,这里运行的是LAMMPS这款开 源的仿真软件,数据通过OSS上传。 解决问题 1.使用EHPC运行工业仿真软件 2.使用OSS存储数据和代码 3.可视化计算结果 产品列表 弹性高性能计算E-HPC 对象存储OSS
EHPC工业仿真 最佳实践 场景描述 部署架构图 本实践适用于使用弹性高性能计算 EHPC+对象存储 OSS运行仿真软件进行模型仿真的 场景中,这里运行的是 LAMMPS这款开源的 仿真软件,数据通过 OSS上传。解决问题 1.使用 EHPC运行工业仿真软件 2.使用 OSS存储数据和代码 3.可视化计算结果 产品列表 弹性高性能计算 E-HPC 对象存储...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,弹性高性能计算E-HPC
超级计算集群实现自然语言处理训练
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景,使用神龙 GPU云服务器(SCCGN6)+CPFS进行NLP的 训练,采用Bert模型。这里不使用容器,直接 使用裸机进行NLP的Bert训练,使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器(SCCGN6) SCC超级计算集群 CPFS共享存储
超级计算集群实现自然语言处理训练 最佳实践 部署架构图 场景描述 本方案适用于自然语言训练场景,使用神 龙GPU云服务器(SCCGN6)+CPFS进 行NLP的训练,采用Bert模型。这里不使 用容器,直接使用裸机进行NLP的Bert训 练,使用AIACC可以有效提升多机多卡的 训练效率。解决问题  使用神龙GPU云服务器搭建NLP训练 环境  ...
来自: 最佳实践 | 相关产品:文件存储NAS,超级计算集群
KVM on弹性裸金属
KVM on弹性裸金属
场景描述 神龙是一款兼具虚拟机弹性和物理机性能及特性的 新型计算产品,为用户上云提供便捷。上一篇《阿里 云弹性裸金属最佳实践之VMwareon神龙》介绍了 基于阿里云神龙部署VMware,本篇指导用户基于神 龙自行创建KVM虚拟机。用户在将线下基于KVM 的业务灵活部署上云的同时,可充分管理和利用云上 计算资源。 解决问题 1.为传统企业提供在阿里云上自建KVM虚拟化平 台的解决方案。 2.基于KVM虚拟化平台的系统如何迁移上云。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP
KVMon 弹性裸金属 最佳实践 业务架构图 场景描述 神龙是一款兼具虚拟机弹性和物理机性能及特性的 新型计算产品,为用户上云提供便捷。上一篇《阿里 云弹性裸金属最佳实践之VMwareon神龙》介绍了 基于阿里云神龙部署VMware,本篇指导用户基于神 龙自行创建KVM虚拟机。用户在将线下基于KVM 的业务灵活部署上云的同时,可充分...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,弹性裸金属服务器(神龙)
自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
(https://bpstudio.console.aliyun.com/#/bpStudio/topo)步骤2 按照以下架构图拖拽资源,并命名。(也可以使用 CADT官方模版快速创建:https://bpstudio.console.aliyun.com/#/bpStudio/topo?TemplateId=3D28DEY1AM KTG2RQ )步骤3 参考下表,配置相关参数,并单击保存,然后部署应用。网络和交换机 类别 配置项 说明 ...
来自: 最佳实践 | 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
混合云存储构建VMware虚拟化平台
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台, 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
混合云存储构建VMware虚拟化平台 最佳实践 业务架构图 场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台,以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。解决问题 如有问题请使用钉钉扫码联系文档作者:1.如何使用混合云存储部署VMware虚拟化平台。2.存储阵列在...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,访问控制,混合云存储阵列 Hybrid Cloud
混合云多云统一安全
混合云多云统一安全
场景描述 有些客户的业务系统部分上云、或者还没上 云,但想使用阿里云公共云的安全服务;或 者业务系统部署在多个云平台上,想使用阿 里云的安全来提供统一服务。 解决问题 1.通过阿里云的安全产品和服务,统一管理阿 里云、IDC和它云的资产; 2.满足混合云、多云的等保需求。 产品列表 云安全中心 堡垒机 数据库审计 高防IP Web应用防火墙 证书服务 日志服务 VPN网关
混合云多云统一安全 最佳实践 部署架构图 场景描述 有些客户的业务系统部分上云、或者还没上云,但想使用阿里云公共云的安全服务;或者业务系 统部署在多个云平台上,想使用阿里云的安全来 提供统一服务。解决问题 1.通过阿里云的安全产品和服务,统一管理阿 里云、IDC和它云的资产;2.满足混合云、多云的等保需求。产品...
来自: 最佳实践 | 相关产品:日志服务(SLS),Web应用防火墙,数据库审计,堡垒机,SSL证书
弹性计算OOS审批流程自动化运维
弹性计算OOS审批流程自动化运维
场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例,介绍如何利用OOS在运维常见的部署系统、 扩容系统、回收系统三个场景中添加审批流程,并以 钉钉通知到对应的审批人员。 解决问题 1.对接阿里云API,通过OOS模板执行运维 任务,实现了运维自动化与可视化。 2.运维操作集成了RAM访问控制权限管理, 无需担心操作安全,并可以快速增加审批流 程,提高运维安全与效率。 产品列表 1.运维编排OOS 2.访问控制RAM 3.云服务器ECS 4.RDSMySQL版 5.负载均衡SLB
弹性计算OOS审批流程自动化运维最佳实践 业务架构图 场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例,介绍如何利用OOS在运维常见的部署系统、扩容系统、回收系统三个场景中添加审批流程,并以 钉钉通知到对应的审批人员。解决问题 1.对接阿里云API,通过OOS模板执行运维 任务,实现了运维自动化与可视化。2.运维...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,负载均衡 SLB,运维编排
机场视频监控
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业,将线下视频文件通过混合云阵列缓存后,通过专线上传到阿里云OSS上。 也适用于其他混合云场景中,利用阵列缓存文件,并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道(专线)
机场视频监控最佳实践 部署架构图 场景描述 该最佳实践适用于国内机场的视频监控行业,将 线下视频文件通过混合云阵列缓存后,通过专线 上传到阿里云OSS上。也适用于其他混合云场景中,利用阵列缓存文 件,并通过网络传输到阿里云OSS上的场景。解决问题  1.通过混合云阵列+专线将线下文件传到阿 里云OSS上  2.通过阿里...
来自: 最佳实践 | 相关产品:对象存储 OSS,高速通道,混合云存储阵列 Hybrid Cloud
混合云灾备之HDR VMware虚拟机容灾
混合云灾备之HDR VMware虚拟机容灾
场景描述 本文为您介绍使用混合云容灾服务来备份虚拟机的 镜像,可以为云上或云下的VMware环境提供有效 的数据保护,保证数据快速、安全、高效地备份到云 上,并在需要时快速恢复备份镜像。 解决问题 1.云上和云下的VMware虚拟机容灾保护。 2.云下的VMware虚拟机环境如何在云上快速恢 复。 产品列表 1.弹性裸金属服务器 2.HDR混合云容灾服
混合云灾备之HDRVMware虚拟机容灾 最佳实践 业务架构图 场景描述 本文为您介绍使用混合云容灾服务来备份虚拟机的 镜像,可以为云上或云下的VMware环境提供有效 的数据保护,保证数据快速、安全、高效地备份到云 上,并在需要时快速恢复备份镜像。如有问题请使用钉钉扫码联系文档作者:解决问题 1.云上和云下的VMware虚拟机...
来自: 最佳实践 | 相关产品:弹性裸金属服务器(神龙)
混合云HBR云上备份VMware虚拟机
混合云HBR云上备份VMware虚拟机
场景描述 本文主要介绍一种简单且具备成本效益的混合云下 的备份解决方案,可以为任何位置的客户虚拟机和数 据提供强有力的保护,包括企业数据中心、远程和分 支机构以及云上资源;支持加密、压缩、重删,保证 数据快速、安全、高效地备份到云上,本文重点介绍 混合云下的VMware虚拟机备份。 解决问题 1.混合云下的备份解决方案。 2.VMware虚拟机备份解决方案。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP 4.NAT网关
混合云HBR云上备份VMware虚拟机 最佳实践 业务架构图 场景描述 本文主要介绍一种简单且具备成本效益的混合云下 的备份解决方案,可以为任何位置的客户虚拟机和数 据提供强有力的保护,包括企业数据中心、远程和分 支机构以及云上资源;支持加密、压缩、重删,保证 数据快速、安全、高效地备份到云上,本文重点介绍 混合云下...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙),混合云备份
云端影视渲染
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构,本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群,集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩,资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
云端影视渲染 最佳实践 部署架构图 场景描述 本文介绍如何搭建一个完整的混合云渲染服务 架构,本地与云端的网络以 SSL-VPN方式进行 互联。解决问题 1.使用 SSL-VPN构建本地网络与云上 VPC 环境的安全互联。2.使用批量计算服务管理渲染计算集群,集群 计算节点自动加入 Deadline资源池。3.使用 Deadline做渲染任务管理。4....
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS,VPN网关,批量计算
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具,大幅提升数据分析和报表开发效率,一站式满足企业各种场景的数据分析和决策的诉求。
例如,您可以制作柱状、饼图、折线等图表,来展示不同的区域的销售情况。设置样式:在制作图表后,您还可以设置图表的样式。例如,您可以设置图表的颜色、字体、边框等样式,让图表更加美观。创建报表:在设置样式后,您可以创建报表。报表是一个集合多个图表和数据表格的页面,可以帮助您更好地理解数据和展示数据。...
来自: 云产品
< 1 2 3 4 ... 13 >
共有13页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用