自建Hive数仓迁移到阿里云EMR
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统,购买阿里云EMR集群之 后,涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本),涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
敬海、游士 审阅人 子关、期会、游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-12-20 云魁 子关、期会、游圣 创建 V1.1 2019-12-25 筱晖 云魁 文档优化 V1.2 2020-01-09 云魁、子关 子关 增加附录 使用 CADT创 V1.3 2021-07-21 游士 建资源,更新部 分命令 文档版本:20210721 I 自建Hive数据仓库跨版本迁移...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
函数计算实现弹性音视频处理系统
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用,每天 有大量的上传视频,需要及时转码处理以适配各 种终端及网络条件,要求短时间内准备大量的计 算资源进行大规模并行转码处理,同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
配置项 说明 付费模式 按量付费 地域及可用区 华北 2(北京)可用区 G 实例 筛选:2 8G,ecs.t6-c1m4.large 购买实例数量 1 台 文档版本:20201228(发布日期)29 Function Compute 实现弹性音视频处理系统 应用测试 镜像 公共镜像 CentOS 7.6 64位 存储 系统盘 高效云盘 40 GiB 配置完成,单击下一步:网络和安全组。...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,文件存储NAS,日志服务(SLS),Serverless 工作流
RAPIDS加速图像搜索
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU,利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 RAPIDS加速图像搜索 文档编号 091 文档版本 V1.3 版本日期 2020-01-14 文档状态 外部发布 制作人 敬海 审阅人 云滴 毕役 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019/08/02 敬海-创建 V1.1 2019/09/10 筱晖-文档优化 V1.2 2019/12/10 敬海-内容更新 V1....
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
企业上云数据安全
企业上云数据安全
场景描述 企业是否选择上公共云,或者哪些系统或数据上 公共云,对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴,即首先使用SDDP产品进行敏感数据发 现和分级分类,然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
属性 内容 文档名称 企业上云数据安全 文档编号 092 文档版本 V1.3 版本日期 2021-08-09 文档状态 外部发布 制作人 游士 审阅人 云魁、敬海 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019/09/03 云滴 云魁、敬海 创建 V1.1 2019/09/11 筱晖-文档优化 V1.2 2020/01/14 云滴-增加概览页、二维码 V1.3 2021/08/09 游...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,密钥管理服务,敏感数据保护,云速搭CADT
RAPIDS加速机器学习
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU,利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 RAPIDS加速机器学习 文档编号 087 文档版本 V1.3 版本日期 2020-01-14 文档状态 外部发布 制作人 敬海 审阅人-文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019/07/15 敬海-创建 V1.1 2019/09/03 筱晖-文档优化 V1.2 2019/12/09 敬海-增加概览页 V1.3 2020/...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
金融行业从经典网络向VPC容器化改造
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤,可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
作者 审核人 说明 V1.0 2019/05/16 连辙 创建 V1.1 2020/7/3 明誉 更新文档制作人信息 文档版本:20200703(发布日期)I 金融行业从经典网络向VPC容器化改造最佳实践【公开|阿里巴巴集团保密信息|普通商秘|核心商秘】前言 概述 本文介绍金融行业从经典网络容器化最佳实践的设置步骤和方法。名词解释  VPC:专有网络...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,容器服务 ACK,日志服务(SLS),容器镜像服务 ACR
KVM on弹性裸金属
KVM on弹性裸金属
场景描述 神龙是一款兼具虚拟机弹性和物理机性能及特性的 新型计算产品,为用户上云提供便捷。上一篇《阿里 云弹性裸金属最佳实践之VMwareon神龙》介绍了 基于阿里云神龙部署VMware,本篇指导用户基于神 龙自行创建KVM虚拟机。用户在将线下基于KVM 的业务灵活部署上云的同时,可充分管理和利用云上 计算资源。 解决问题 1.为传统企业提供在阿里云上自建KVM虚拟化平 台的解决方案。 2.基于KVM虚拟化平台的系统如何迁移上云。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP
制作人 期会 审阅人 阿瑟、期会 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-06-03 行夜 阿瑟、期会 创建 V1.1 2019-07-16 筱晖-文档工程师优化、验证 V1.2 2019-12-13 期会 阿谈 增加MCVTAP部分内容 V1.3 2020-03-04 期会-NAS章节优化 文档版本:20191213 I KVMon弹性裸金属 前言 前言 概述 本文重点介绍基于...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,弹性裸金属服务器(神龙)
云上高并发系统改造
云上高并发系统改造
场景描述 随着业务的发展,系统并发压力越来越大,如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景,提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景: 1.系统并发压力大,需要进行系统应用改造。 2.数据层并发压力大,需进行分库分表改造。 3.数据库数据量巨大,亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段,我们除了通过SLB做负载 均衡外,我们可以通过SLB下挂nginx的方 式,增加负载均衡侧的可扩展性 2.在数据库拆分阶段,在做好数据规划后,我 们借助DTS进行数据迁移,通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
日期 作者 审核人 说明 V1.0 2020-03-06 明中,言楼,期会,阿瑟 创建 清洵,左郢,遥方,石镇 V1.1 2020-03-11 明中-文档优化完善 V1.2 2022-05-06 天裵 CADT迭代 文档版本:20220506(发布日期)I 云上高并发系统改造 前言 前言 概述 随着业务的发展,系统并发压力越来越大,如何进行系统改造以满足高并发场景的 业务需求...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,数据传输,云解析 PrivateZone,云原生分布式数据库PolarDB-X,云速搭CADT
资源管理
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多,如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系,使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源,更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
2021-07-12 2 资源管理 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 资源管理最佳实践 文档编号 113 文档版本 V2.2 版本日期 2021-07-12 文档状态-制作人 天裵 审阅人-文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-10-24 毕役-创建 V1.1 2019-11-10 毕役-初稿完成 V1.2 2019-11-12 毕役 南园 修改...
来自: 最佳实践 | 相关产品:资源管理
超级计算集群实现自然语言处理训练
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景,使用神龙 GPU云服务器(SCCGN6)+CPFS进行NLP的 训练,采用Bert模型。这里不使用容器,直接 使用裸机进行NLP的Bert训练,使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器(SCCGN6) SCC超级计算集群 CPFS共享存储
审核人 说明 V1.0 2019/07/15 敬海 游圣行夜 创建 V1.1 2019/11/20 敬海 增加首页概览页,更新git地址 V1.2 2019/12/09 敬海 产品更新 V1.3 2020/02/02 敬海 更新架构图 V1.4 2020/12/10 敬海 AIACC更新及demo更新 V1.5 2021/03/08 敬海 更新文件链接等 I企业上云实践 超级计算集群实现自然语言处理训练 前言 概述 本文介绍...
来自: 最佳实践 | 相关产品:文件存储NAS,超级计算集群
自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
版本编号 日期 作者 审核人 说明 云魁、弦望、V1.0 2020-02-26 创建 乔夫、吴昊 使用 CADT创建资源,更新部 V1.1 2021-07-23 游士 分命令和链接 文档版本:20210723 I 自建Hadoop迁移MaxCompute 前言 前言 概述 客户基于 ECS、IDC自建或友商自建了大数据集群,为了降低企业大数据计算平台 的成本,提高大数据应用开发效率,...
来自: 最佳实践 | 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
混合云使用Ali-Perseus
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中,自建 Kubernetes服务,线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具,并采用阿里云CPFS存储,运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC, 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
文本信息 属性 内容 文档名称 混合云使用飞天 AI加速工具最佳实践 文档编号 099 文档版本 V1.3 版本日期 2020/01/14 文档状态 发布 制作人 敬海 审阅人 云魁 期会 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019/09/14 敬海-创建 V1.1 2019/09/26 筱晖-文档优化 V1.2 2019/12/11 敬海-增加首页概览页 V1.3 2020/01...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网
自建Hadoop迁移到阿里云EMR
自建Hadoop迁移到阿里云EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
审阅人 毕役、云滴、子关、游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-11-20 云魁 云滴、毕役 创建 V1.1 2019-11-25 筱晖-文档优化 增加 HDFS迁移到 OSS和 V1.2 2019-12-25 云魁 子关 JindoFS的方案 V1.3 2020-01-31 云魁 修改概览页场景描述 V1.4 2020-02-07 云魁 更新 VPN网关配置 增加附录,直接通过...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
基于HBR云上统一备份
基于HBR云上统一备份
场景描述 混合云备份(简称HBR)是一种简单易用且高性价 比的在线备份服务,可以为阿里云ECS,NAS,OSS 以及自建机房内的各类数据提供安全,高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
日期 作者 审核人 说明 V1.0 2020-01-17 期会 敬海、李媛 创建 V1.1 2020-01-17 筱晖-文档优化 V1.2 2020-12-10 期会-文档优化,增加 CADT V1.3 2021-04-02 天裵 李媛、景玄 新增ECS自建MySQL 和 Oracle的备份场景;更新 SQL Server备份 章节。文档版本:20210402 I HBR云上统一备份 前言 前言 概述 混合云备份(简称 HBR)...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,混合云备份,云速搭
Openstack迁移DDH
Openstack迁移DDH
场景描述 在线下IDC中,很多用户使用OpenStack构建云环境,本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 迁移到阿里云专有宿主机(DDH)上,从而实现业务平滑 上云的同时,显著降低成本。 解决问题 1.如何将OpenStack中的云服务器迁移 DDH上。 2.如何使用DDH构建云上环境。 产品列表 专有宿主机DDH 对象存储OSS 服务器迁移中心SMC 专有网络VPC
文档名称 OpenStack迁移DDH最佳实践 文档编号 141 文档版本 V1.1 版本日期 2020-03-12 文档状态 外部发布 制作人 敬海 审阅人 游圣懿弘 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-02-13 敬海 游圣懿弘 创建 V1.1 2020-03-12 筱晖-文档优化 I 文档版本:20200312(发布日期)OpenStack迁移DDH 前言 前言 概述 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,专有宿主机
计算巢服务
阿里云计算巢服务是一个面向ISV、SI、MSP和开发者的云集成PaaS平台,方便服务商更好的将产品、服务集成,借助云原生的能力提升软件服务交付、部署及后续管理。
数据安全环境登录安全性:无需交换登录凭证,安全运维通道,自动完成授权鉴权。通过内网打通,无需网络放行,杜绝网络安全隐患。追溯和审计能力:提供操作系统运维录屏,保留运维现场,提升服务可信度。运维操作记录存档可追溯,安心服务无纠纷。客户案例“计算巢的自动化交付完美的解决了在给客户交付过程中云资源采购及...
来自: 云产品
文字识别
阿里云OCR文字识别是可以将图片识别文字的数据智能产品,支持印刷品、卡证、票据、图片、文档等多类文件,具备全栈全场景的文字识别能力,
除商品图片外,运营环境中还涉及大量商家商业资质图片的审核、录入需求.实现对商品图片的内容信息识别,规避涉恐、涉毒、涉黄、涉爆等风险,帮助电商正常运营和发展.对电商商品图片识别,比如食品配料、衣服吊牌等,有助于指导电商运营活动,提高转化.实现商家商业资质图片的识别,帮助运营进行需求对比和解析,可以极大地...
来自: 云产品
企业资质识别
阿里云企业资质识别支持各类资产证件的识别。企业资产如营业执照识别,可结构化识别出注册号,公司名称,公司地址,法人代表,营业期限等多个字段; 房产证识别可识别多种商品性质房源,快速准确识别房屋性质,坐落,权利人等10个字段。结构化输出业务所需的字段,方便工作人员审核录入,核对,有效节约人力时间成本。
政务资质审核涉及证件种类和数量多,人工审核耗时耗力易出错,企业资质识别可实现证件的自动化录入审核,做到证件分类和关键字段提取.提升管理效率,节省人力成本.银行开户许可识别.商标注册识别.推荐搭配产品.政务资质审核.政务资质审核.支持用户通过简单的标注创建专属自己的模板,生成识别规则,满足用户的个性化OCR...
来自: 云产品
区块链溯源服务解决方案
大规模商用的溯源营销服务平台,利用区块链和物联网技术,解决了溯源信息的真实性问题。
区块链上的数据高效的在供应链不同部门之间进行共享,达到统一凭证、全程记录、及时高效,能够有效解决多方参与、信息碎片化、流通环节重复审核等问题,从而降低物流成本、提高效率.通过API以及SDK可以实现一站式接入,支持整个溯源流程自定义,同时提供支付宝一级入口,消费者通过支付宝的扫一扫功能,可以实现商品的快速...
来自: 解决方案
行业文档识别
阿里云提供行业文档类识别,可以高精度识别各行业文档和表单表格,通用于各行业的通用文字识别。包含单字坐标,表格识别,图像旋转等功能,广泛应用于司法、金融、医疗等各行业,方便工作人员审核录入核对,节约人力时间成本。
票据凭证识别.企业资质识别.行业文档类识别.通用文字识别.教育场景识别.仪器仪表识别.特殊场景 OCR 识别.物流海关系列识别.行业文档类识别.印刷文字识别.更多产品与服务.广泛运用于司法行业卷宗管理系统,用于卷宗OCR识别、文档分类、在线校对、电子化存储等,有效提升司法电子化办公效率.司法卷宗管理.运用于企业内部的...
来自: 云产品
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用