自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
它使用一个简单 的可扩展数据模型,允许在线分析应用程序。文档版本:20210723 IV 自建Hadoop迁移MaxCompute 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.V 最佳实践概述.1 前置条件.3 资源规划说明.4 1.自建 Hadoop集群环境搭建.5 1.1.Hadoop集群安装规划.5 1.1.1.组件安装规划.5 1.1.2.组件运行规划.5 1.2.使用...
来自: 最佳实践 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
自建Hadoop迁移到阿里云EMR
自建Hadoop迁移到阿里云EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
它使用一个简单 的可扩展数据模型,允许在线分析应用程序。文档版本:20200330 IV 自建Hadoop数据迁移到阿里云 EMR 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.V 最佳实践概述.1 前置条件.2 资源规划说明.3 1.自建 Hadoop集群环境搭建.4 1.1.使用云速搭 CADT快速创建资源.4 1.2.安装日志发生器.14 1.3.安装 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
Openstack迁移DDH
Openstack迁移DDH
场景描述 在线下IDC中,很多用户使用OpenStack构建云环境,本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 迁移到阿里云专有宿主机(DDH)上,从而实现业务平滑 上云的同时,显著降低成本。 解决问题 1.如何将OpenStack中的云服务器迁移 DDH上。 2.如何使用DDH构建云上环境。 产品列表 专有宿主机DDH 对象存储OSS 服务器迁移中心SMC 专有网络VPC
 开通以下服务:ˉ专有宿主机DDHˉ对象存储OSSˉ专有网络VPC 文档版本:20200312(发布日期)3 Openstack迁移DDH OpenStack简介 1.OpenStack简介 OpenStack是一个由NASA(美国国家航空航天局)和Rackspace合作开发的,是以 Apache许可授权的自由软件和开放源代码项目。OpenStack是一个开源的云计算 管理平台项目,可以...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,专有宿主机
计算巢服务
阿里云计算巢服务是一个面向ISV、SI、MSP和开发者的云集成PaaS平台,方便服务商更好的将产品、服务集成,借助云原生的能力提升软件服务交付、部署及后续管理。
前往服务目录AI服务:StableDiffusion社区版服务介绍Stable Diffusion Web UI 是一个基于Stable Diffusion的基础应用,利用gradio模块搭建出交互程序,可以在低代码GUI中立即访问Stable Diffusion。产品特点AI大模型,文字生成图片,图片转图片。立即创建数据库服务:TuGraph高性能数据库服务介绍TuGraph(tugraph.org)是...
来自: 云产品
IoT 设备身份认证
阿里云 IoT设备身份认证提供身份认证、通道加密和业务数据加密等能力,实现物联网数据可信上云和可信上链。提供公共云、一体机、专有云、多云等部署模式。
支持物联网数据通过路由规则存到指定的区块链.支持设置隐私保护和加密等安全策略保护敏感上链数据的安全.提供多种常用的安全DAPP,帮助企业快速构建可信应用.IoT 区块链 Hub.为物联网平台提供一键开启的风险检测能力,为物联网设备提供漏洞检测与修复、网络访问控制、合规自查等能力,保障物联网系统安全稳定运行.覆盖...
来自: 云产品
教育场景识别
阿里云教育场景识别能解决试题题目、数学公式等信息的智能化识别需求,是为智慧教学场景下的拍照搜题、板书识别、自动阅卷等应用提供关键技术能力的数据智能产品
可极大幅度提升教师批改作业的效率,亦或应用于导学软件辅助学生学习.精细版结构化识别.推荐搭配产品.文字识别主页面.个人证照识别.通用文字识别.车辆物流识别.票据凭证识别.企业资质识别.贸易单证识别.教育场景识别.功能介绍与体验.提供文字识别的云端服务接口,可直接调用API或使用HTTP 服务对图片中的文字进行识别.部署...
来自: 云产品
云速搭部署混合云备份HBR
云速搭部署混合云备份HBR
本实践以ECS文件备份为例,通过CADT设计备份架构,一键部署演示环境。
购买方式:新购 实例名称:ecs-bj-01 数量:1 支付方式:按量付费 实例规格:ecs.n1.tiny(1c 1g)镜像:Alibaba Cloud Linux 镜像版本:Alibaba Cloud Linux 2.1903 LTS 64位 系统盘类型:高效云盘 登录凭证:稍后创建 文档版本:20211023 11 云速搭部署混合云备份HBR CADT部署混合云备份HBR 步骤12 单击 hbr,设置混合云...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,混合云备份,云速搭CADT
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink,2倍性能提升,拥有FlinkCDC、动态CEP等企业级增值功能,内置丰富上下游连接器,助力企业构建高效、稳定和强大的实时数据应用。
二维火专注于云计算餐饮软件系统研发和应用。其大数据团队通过阿里云实时计算Flink+Hologres实现百亿级数据高并发、秒级分析处理,并向客户提供80多种不同类型的报表,包括:营业、订单、菜品、会员等报表,为店铺发展提供多维度分析透视和业务探索.查看案例详情.通过实时计算Flink版产品,微淼构建了完善的实时数仓存储...
来自: 云产品
访问控制
阿里云访问控制(RAM)服务可以帮您安全地集中管理对阿里云资源的访问。您可以控制哪些用户以何种方式进行身份验证后有权限访问哪些资源。
通过请求STS临时安全凭证(可自定义时效和访问权限),使您的移动版和基于浏览器的应用程序安全地访问阿里云资源.管理移动端应用程序的访问控制.通过配置计算型实例角色(如ECS实例角色),使您的应用程序安全地访问阿里云资源,避免 AccessKey 泄露带来的安全风险.管理云服务端应用程序的访问控制.集中式访问控制.RAM 为所有...
来自: 云产品
云端影视渲染
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构,本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群,集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩,资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
安装完插件后,配置文件位置在:C:\Python27\Lib\site-packages\auto_scaling\conf\config.ini 使用写字板程序打开配置文件,文档版本:20200220 111 云端影视渲染 自动伸缩脚本部署及验证 主要注意如下参数项:1.脚本调用 BCS服务所使用的 AK;2.所使用的 BCS集群所在地域;3.使用的 BCS集群 ID;4.使用的指定 BCS集群中的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS,VPN网关,批量计算
基于DDH+MyBase降本合规
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求(政策上云),另一方面出于对降低单实例部署成本(CPU 超分超配)以及满足更严格合规和监管要求的考虑,希望能对云上资源有更多的自主控制权(监管合规)。从业务系统架构云上部署的角度,基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案,可以很好地满足这两方面的需求。 解决问题: 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本(TCO) 方案优势: 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离,可以独占资源,可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规:在完备的隔离基础之上,开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时,若您不指定专有宿主机,系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时,提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ,可以降低单 ECS实例以及云数据库实例的部署成本。
内网访问外网 EIP(1M,按带宽计费)业务系统 操作系统 CentOS 7.6 64位-软件程序 WordPress 硬件配置:存储 40G 高效云盘(系统盘)安全组 sg-bptest 初始 root用户密码*网络 BP-VPC(MyBase-VSW)可用区/数量/实例 建议实例名和主机名一致,便于管 H/1/bp-test-1,2 名(主机名)理 自定义镜像 bptest-image-可用区 杭州,可用...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,专有宿主机,云数据库专属集群MyBase,云速搭
基于ECI、RI和EIP降成本方案
基于ECI、RI和EIP降成本方案
场景描述 随着企业逐步将自己的业务搬移到使云上, 越来越多的企业也开始重视云上的使用成 本。 针对客户的使用场景,特别是无状态服务、 易于容器化的场景,基于ECI+RI+EIP的组 合方式能有效降客户成本。预留实例券RI, 可以灵活的抵扣相关资源费用;弹性容器实 例ECI,在资源使用率、启动速度、灵活性、 成本上的具有一定的优势。 本文以部署一个无状态的网站为例,使用 ECI+RI+EIP的组合方式,通过RI抵扣计 算资源费用,按量支付流量费用,旨在能够 帮助客户快速验证云上服务,有效控制云上 资源成本。 方案优势 1.使用RI,可以灵活的抵扣相关资源费 用。 2.使用ECI支作为应用运行环境,更加 灵活、低成本,提高资源使用率。 3.ECI+RI+EIP的组合方式,资源使用率 高,通过RI抵扣计算资源费用,按量 支付流量费用,能有效降低整体成本 费用。 产品列表 专有网络VPC 预留实例券RI 弹性容器实例ECI 弹性公网IP
标准化应用发布,docker容器包含了运行环境和可执行程序,可以跨平台和主机 使用。2.节约时间,快速部署和启动,VM启动一般是分钟级,docker容器启动是秒级。3.方便构建基于 SOA架构或微服务架构的系统,通过服务编排,更好的松耦合。4.节约成本,一个虚拟机至少需要几个 G的磁盘空间,docker容器可以减少到 MB 级。5.方便...
来自: 最佳实践 | 相关产品:弹性公网IP,容器镜像服务 ACR,弹性容器实例 ECI,预留实例券
VMware迁移DDH
VMware迁移DDH
场景描述 介绍本地部署或托管在IDC环境的VMware系统迁移 上云至独立宿主机(DDH)的最佳实践。使用DDH在 云端构建由独享物理服务器组成的资源池,同时配合 ECS成熟稳定的虚拟化技术体系,充分利用云上资源 弹性、按使用付费的优势,快速构建高性能、高可靠 和可快速动态伸缩的虚拟化系统,满足安全、合规、 自定义部署、自带许可证(BYOL)等企业级需求。 解决问题 l云端独享高性能、高可靠、高弹性的物理服务器资源池。 l基于成熟云原生虚拟化技术体系,支持ECS自定义部 署,可在DDH环境和多租户环境间迁移。 l支持自带许可证(BYOL)。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS l对象存储OSS l专有宿主机DDH l资源编排ROS
使用 DDH在 云端构建由独享物理服务器组成的资源池,同时配合 ECS 成熟稳定的虚拟化技术体系,充分利用云上资源 弹性、按使用付费的优势,快速构建高性能、高可靠 和可快速动态伸缩的虚拟化系统,满足安全、合规、自定义部署、自带许可(BYOL)等企业级需求。解决问题 l 云端独享高性能、高可靠、高弹性的物理服务器资源...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,专有宿主机
RAPIDS加速图像搜索
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU,利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
13 RAPIDS加速图像搜索 创建并配置 gnv6实例 说明:此镜像详细信息如下:14 RAPIDS加速图像搜索 创建并配置 gnv6实例 https://market.aliyun.com/products/57742013/cmjj026610.html NVIDIA GPU Cloud VM Image (虚拟机镜像)是运行针对 NVIDIA GPU优化的深度 学习框架和 HPC应用程序容器的优化环境。这里面包含了 GPU驱动,...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
VMware on 弹性裸金属
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属,利用云计算平台提供的弹性基础设 施,降低部分运维成本和学习成本,使用其 擅长的技术工具专注自身业务,实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
步骤3 将 vCenter ISO 文 下 载 拷 贝 到 windows 服 务 器。本 示 例 使 用 VMware-VIM-all-6.5.0-8307201.iso。文档版本:20191121 51 VMwareon弹性裸金属 安装和部署VMware 步骤4 双击vCenter安装文件。步骤5 双击autorun。步骤6 根据安装向导,完成VMwarevCenterServer的安装。1.在适用于Windows的vCenterServer页面...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙)
自建Hive数仓迁移到阿里云EMR
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统,购买阿里云EMR集群之 后,涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本),涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
cd/usr/local/apache-hive-1.2.2-bin/conf cp hive-env.sh.template hive-env.sh vim hive-env.sh 在文件末尾添加如下内容,保存后退出:export HIVE_AUX_JARS_PATH=usr/local/apache-hive-1.2.2-bin/lib 步骤5 下载 MySQL驱动程序。文档版本:20210721 15 自建Hive数据仓库跨版本迁移到阿里云 EMR 基础环境搭建 cd/usr/...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
区块链服务
阿里云区块链服务简称BaaS,提供简单易用、一键部署、快速验证、灵活可定制的区块链服务,降低区块链应用开发门槛、提高开发效率,适用于供应链金融、商品溯源、版权等业务场景。
一切与业务发生过程的业务主体属性信息相关的凭证、凭据、单据、状态都可以作为业务上链.多节点分布式存储结构保障不可篡改性,避免传统中心化系统的作弊行为和数据丢失问题.任意一方发布链上的业务信息,都可以在链上完成信息的真实性核验.链底层是去中心/多中心的可结构化的数据管理,基于非对称加密、国密等主流/合规...
来自: 云产品
云速搭部署 NAS 文件系统
云速搭部署 NAS 文件系统
本实践通过云速搭构建一个 NAS,并将 NAS 文件系统挂载到 ECS 的目录上。
广泛应用于企业级应用数据共享、容器、AI机器学 习、Web 服务和内容管理、应用程序开发和测试、媒体和娱乐工作流、数据库备 份等场景。详见:https://www.aliyun.com/product/nas 文档版本:20211027 3 云速搭部署 NAS文件系统 通过云速搭创建 NAS 通过云速搭创建 NAS 方案架构 通过云速搭构建一个 NAS,并将 NAS文件系统...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS,云速搭CADT
轻量级GPU部署云游戏最佳实践
轻量级GPU部署云游戏最佳实践
随着AI深度学习,视频处理,科学计算以及图形可视化等应用场景的普及,GPU的市场需求越来越大,但单颗物理GPU起步至超大规模弹性计算带来的计算能力过剩成本上升问题也越来越明显。轻量级GPU的诞生打破了传统直通模式的局限,可以提供比单颗物理GPU更细粒度的服务,从而让客户以更低成本、更高弹性开展业务。
轻量级 GPU部署云游戏 最佳实践 云游戏架构 场景描述 随着 AI深度学习,视频处理,科学计算以及图 形可视化等应用场景的普及,GPU的市场需求 越来越大,但单颗物理 GPU起步至超大规模弹 性计算带来的计算能力过剩成本上升问题也越 来越明显。轻量级 GPU的诞生打破了传统直通 模式的局限,可以提供比单颗物理 GPU更细粒 度的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用