数据湖-在线学习场景数据分析
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例,使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer,模拟应用中的关键页面,比如登 录、课程内容等,之后构造若干用户使用的模拟 日志数据,投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖(EMR+OSS)搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
模拟数据生成 完成上一节操作后,用户每次访问页面,Web服务器都会收到一条日志进行记录,例 如:127.31.24.127[2020-03-2018:31:47]"GET/app1/onine/content/5?user_id=303 HTTP/1.1"200 同时也会投递一条event_log记录到kafka,例如:{"content_id":"10","station_time":"5","score":"30","local_time":"2020-03-2506:24:...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,E-MapReduce
高并发云上架构解决方案
高并发云上架构解决方案,基于云服务强大的横向扩展能力,充沛的算力资源,轻松实现能够承载海量并发请求的坚固业务系统框架,业务高峰时期做到从容面对,轻松扩容。在业务高速扩张阶段提供便捷稳定可靠的基础资源框架。
云上高并发Web架构.打造高并发系统>.云上高并发系统改造.如何把消息队列迁移到云服务上>.自建RocketMQ迁移云RocketMQ.618大促期间,找靓机业务量超过平日四倍,QPS 最高达到平常的20倍,在阿里云护航团队全程紧密的保障下,客户平稳度过了大促业务高峰期,三天共计成交三万单,销售额突破7千万!客户在感谢信中提到:“感谢...
来自: 解决方案
EHPC工业仿真
EHPC工业仿真
场景描述 本实践适用于使用弹性高性能计算EHPC+ 对象存储OSS运行仿真软件进行模型仿真 的场景中,这里运行的是LAMMPS这款开 源的仿真软件,数据通过OSS上传。 解决问题 1.使用EHPC运行工业仿真软件 2.使用OSS存储数据和代码 3.可视化计算结果 产品列表 弹性高性能计算E-HPC 对象存储OSS
可视化计算结果 产品列表 弹性高性能计算 E-HPC 对象存储 OSS 文件存储 NAS 云速搭 CADT 最佳实践频道 阿里云最佳实践技术分享 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 EHPC工业仿真 最佳实践 发布日期:20210813 文档版本:20150122(发布日期)II EHPC...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,弹性高性能计算E-HPC
混合云存储构建VMware虚拟化平台
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台, 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
步骤8 出现重新启动Web服务器界面后等待2分钟左右,直到下一步按钮点亮为止,并单 击下一步。文档版本:20191223 14 混合云存储构建VMware虚拟化平台 存储阵列系统初始化配置 步骤9 此时系统初始化工作已完成,弹出摘要界面,显示了接下来需要执行的操作,按照步 骤完成以后,单击完成即可进入系统的管理界面。说明:系统...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,访问控制,混合云存储阵列 Hybrid Cloud
云数据库HBase
阿里云云数据库 HBase 版(ApsaraDB for HBase)是基于 Hadoop 且100%兼容HBase协议的高性能、可弹性伸缩、面向列的分布式数据库,轻松支持PB级大数据存储,满足千万级QPS高吞吐随机读写场景。
拥有完整的功能,最小规模2+2节点,可无限水平扩展,适用于任何规模的企业生产.单节点部署,拥有完整功能,适用于开发测试生产预发.Serverless版.根据业务量自动弹性伸缩,按实际使用量收费,不用不花钱,适合间歇性负责的业务.支持集群版、单节点和Serverless三种产品形态,用户根据业务实际需求自由选择.三种产品形态...
来自: 云产品
Hyper-V on 弹性裸金属最佳实践
Hyper-V on 弹性裸金属最佳实践
场景描述 本方案适用于基于弹性裸金属服务器(神龙)自 建Microsoft Hyper-V环境的场景。 解决问题 l使用神龙自建+Microsoft Hyper-V虚拟 化环境环境。 l创建LinuxHyper-VVM。 lHyper-VVM访问外部网络。 l外部网络访问Hyper-VVM上的服务。 产品列表 l神龙GPU云服务器(ecs.ebmg5s) l专有网络VPC
解决问题 使用神龙自建+Microsoft Hyper-V虚拟化环境 环境 创建 Linux Hyper-V VM Hyper-V VM访问外部网络 外部网络访问 Hyper-V VM上的服务 部署架构 产品列表 神龙 GPU云服务 专有网络 VPC 弹性公网 IP 云速搭 CADT 最佳实践频道 阿里云最佳实践分享服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,弹性公网IP,弹性裸金属服务器(神龙),云速搭
云上成本优化workshop
云上成本优化workshop
某金融科技公司,它主要提供信贷,理财,电商等 服务,目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后,今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障,运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务, 白天的催收非常依赖晚上大数据计算的结果,若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做,会对公司业务造成严重影响。 后来,通过阿里云解决方案架构师建议的方案,将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法,目前已阶段性的解决因资源不足导致弹性扩 容失败的问题,但该方案在 Spot 计算资源不足 时,启用大量按量收费算力,带来了较高的成本, 并且抢占式实例和按量付费实例都不保证资源 100%交付,还是存在交付失败的可能性,特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在,就进一步增加了弹性扩 容失败的风险,从而影响业务正常运行。
步骤1 通 过 以 下 链 接 进 入 EMR 管 理 控 制,单击目标集群。(https://emr.console.aliyun.com/#/cn-hangzhou/cluster)步骤2 展开弹性伸缩下拉菜单,单击弹性伸缩配置。文档版本:20210329 31 云上成本优化 workshop 计费优化 步骤3 关闭运行中的伸缩组。步骤4 成功关闭后,单击配置规则。步骤5 将成本优化策略...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
数据迁移上云
数据迁移上云
随着越来越多的企业选择将业务系统上云,各种类型的数据如何便捷、平滑的迁移上 云,成了用户上云较为关注的点;业务上云后,因为业务或者其他方面调整等因素, 也存在如跨区域,跨账号等数据迁移的场景。针对以上需求,阿里云上提供了较为丰 富的工具(如ossimport)、服务(在线迁移服务),旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源,并以杭州区域来模拟线 下IDC(或友商),深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
本案例以 FTP服务器为例,具体 FTP 26 文档版本:20201013 数据迁移上云最佳实践 使用阿里云在线迁移服务进行数据迁移 务器搭建过程本文不再赘述。3.2.创建目的地址 步骤1 选择在线迁移服务>数据地址,并选择“OSS”的数据类型,数据所在区域选择“华南 1(深圳)”,然后点击创建数据地址 步骤2 在跳出的创建数据窗口中...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,云企业网,云速搭CADT
传统企业业务上云基础安全防护
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上,以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案,是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
cd/var/www/html/pma/ vimconfig.inc.php 修改前 修改后 文档版本:20220210 115传统企业业务上云基础安全防护 数据库审计 步骤2 重启web服务器。systemctlrestarthttpd 7.3.2.2.制造ECS上SQL日志 步骤1 通过ECS公网IP地址(http://47.xxx.xxx.169/pma/)访问phpMyAdmin的管理页,并 登录phpMyAdmin。步骤2 执行一些查询...
来自: 最佳实践 | 相关产品:云安全中心,Web应用防火墙,数据库审计,堡垒机,云防火墙,云速搭CADT
CDH迁移升级CDP最佳实践
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载,终止服务,针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户,通过安装新的 CDP 集群,将现有数据拷贝至新集群,然后将新集群切换为生产集群,升级过程没有数据丢失风险,停机时间较短,适合大部分互联网客户升级使用。
数据一致性校验 最佳实践频道 阿里云最佳实践技术分享服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 CDH迁移升级 CDP 最佳实践 文档版本:20211029 文档版本:20150122(发布日期)II CDH迁移升级 CDP最佳实践 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 CDH迁移升级 CDP最佳实践 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云速搭
Spark on ECI大数据分析
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容,兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构,结合阿里云原生云 存储产品,海量数据湖优势。 3.Kubernetes原生的调度性能优势,提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足,计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离,大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
如果我 们想提升作业的运行速度,就需要提升并发的 Spark executor Pod的数量,如果我们 将并发的 Spark executor Pod的数量修改为 10,再次提交作业,由于测试使用的 是 2台 2核 8GB的 ECS搭建的,集群资源是非常有限的,因此会出现由于集群 Worker节点的 CPU资源不足无法起更多的 Spark executor Pod导致没有办法提升...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,容器服务 ACK,弹性容器实例 ECI,文件存储HDFS
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
文档版本:20220321 2 E-HPC低成本实现量化策略回测 实验背景 1.2.EHPC集群 弹性高性能计算(E-HPC)基于阿里云基础设施,为用户提供一站式公共云 HPC ,提供快捷、弹性、安全和与阿里云产品互通的技术计算云平台。所有任务的参数,配置可以通过 pbs脚本来定义,此处提供部分量化交易场景下的代 码展示:文档版本:...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
VMware on 弹性裸金属
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属,利用云计算平台提供的弹性基础设 施,降低部分运维成本和学习成本,使用其 擅长的技术工具专注自身业务,实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
步骤3 将 vCenter ISO 文 件 下 载 拷 贝 到 windows 。本 示 例 使 用 VMware-VIM-all-6.5.0-8307201.iso。文档版本:20191121 51 VMwareon弹性裸金属 安装和部署VMware 步骤4 双击vCenter安装文件。步骤5 双击autorun。步骤6 根据安装向导,完成VMwarevCenterServer的安装。1.在适用于Windows的vCenterServer页面...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙)
基于ALB的统一流量调度和监控
基于ALB的统一流量调度和监控
企业在走向容器化过渡阶段,内部同时存在ECS应用和容器应用的情况,在多域名业务场景下,为了对应用的入方向流量进行统一的调度和监控,可通过ALB快速完成内部应用统一流量的管控。 典型场景 多域名转发到混合应用类型场景。 方案优势 1、 高弹性,高并发 2、 减少SLB+EIP数量 3、 一键WAF透明接入 4、 配置简单易上手 5、 统一流量运营分析
服务器 ECS免去了您采购 IT 硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用 务器,实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器,解决多种业务需求,助力您的业务发展。详见:https://www.aliyun.com/product/ecs 云速搭 CADT:是一款为上云应用提供自助式云架构管理的...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,容器服务 ACK,云效
云原生
阿里云拥有丰富的云原生产品家族,全面的云原生开源贡献,大规模的云原生应用实践,以及广泛的云原生客户群体,为企业数字创新提供全方位能力支撑。
《云原生实战案例》.面向企业关于阿里云原生产品的介绍.《阿里云原生产品手册》.助你快速入门 RocketMQ,提升能力.《RocketMQ 使用排查指南》.本书就是上手的第一宝典.《Spring Cloud Alibaba 从入门到实战》.直观展示使用 Knative 简单高效地开发云原生应用.《Knative 云原生应用开发指南》.深挖云原生技术在双11的实践...
来自: 云产品
阿里云最佳实践容器workshop
阿里云最佳实践容器workshop
通过本篇最佳实践,可以熟悉容器及k8s的基本操作。基于eci的高弹性架构,能有效的应对业务流量洪峰,同时提升资源使用效率。
FROM nginx:mainline-alpine RUN rm/etc/nginx/conf.d/*ADD nginx.conf/etc/nginx/conf.d/ADD index.html /usr/share/nginx/html/ 说明:将 nginx:mainline-alpine作为基础镜像,将本地的配置文件 nginx.conf 放到/etc/nginx/conf.d/目录下,index.html文件放到/usr/share/nginx/html/下,配置成静态 web服务器。...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),访问控制,容器镜像服务 ACR,云效,云速搭
自建K8S迁移镜像、应用至阿里云ACK最佳实践
自建K8S迁移镜像、应用至阿里云ACK最佳实践
云原生技术K8S以其易管控,自动化操作,自修复等特点充分满足了企业的需求,越来越多的企业都加入容器化这个队伍中。但随着技术的更新迭代,自建的K8S相关的容器镜像服务、集群管理、稳定性保障也让企业IT人员感觉到压力,所以上云成了一些企业的选择,将底层的IAAS基础设施和K8S的基础PASS能力交给阿里云来管理,企业本身抽出更多精力聚焦业务的创新。针对以上需求通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK。 针对以上需求场景通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK;本文通过使用河源的ECS自建K8S集群和Harbor镜像仓库来模拟IDC环境
容器镜像服务 ACR(Alibaba Cloud Container Registry)默认实例版提供基础的容器镜像 ,包括安全的应用镜像托管能力、精确的镜像安全扫描功能、稳定的国内外镜像构建服务 以及便捷的镜像授权功能,从而方便用户进行镜像全生命周期管理。容器镜像服务简化了 Registry 的搭建运维工作,支持多地域的镜像托管,并联合容器...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,容器服务 ACK,容器镜像服务 ACR
远程办公-AD管控下的弹性云桌面
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时,IT人员通常会面临以下问题,本文希望通过场景实践的方式,示范如何结合使用不同阿里云产品,来解决这些问题:用户如何管理?企业已有AD用户如何上云?云上共享文件服务权限怎么管?数据安全问题有保障吗?该如何设置?云桌面能使用本地机房或IDC中的服务吗? 本文使用的应用场景: 场景1:客户A在云上新建Windows ActiveDirectory(以下简称AD);弹性云桌面,和NAS文件存储服务部署在AD所在的VPC内。场景2:客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3:客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势: 易部署:弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用,配置实时生效,快速完成部署。 低成本:弹性云桌面无需前期传统硬件投资,帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道,比建立专线更便宜,快速实现混合云。 安全性:VPN网关使用IKE(秘钥交换协议)和IPSec对传输数据或进行加密,保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控:通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云,和文件级别的权限管控。
名词解释 弹性云桌面 弹性云桌面(Elastic Cloud Desktop),是一种易用、安全、高效的云上桌面 。它支持快速便捷的桌面环境创建、部署、统一管控与运维。无需前期传统 硬件投资,帮您快速构建安全、高性能、低成本的企业桌面办公体系。可广泛 应用于具有高数据安全管控、高性能计算等要求的安全办公、金融、设计、影 视...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,云企业网,VPN网关,云桌面,云速搭CADT
容器跨可用区高可用
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构,某可用区挂掉后,不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB,RDS,Redis等产品,实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB,RDS,REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
步骤5 参考以上步骤,分别开通 ECS,RDS,Redis(KVstore),ACK,NAS,CADT几个 。如遇产品开通需要选择按量付费或者包年包月,尽量选择按量付费。2.2.利用 CADT构建基础环境 本章节使用云速搭工具 CADT,采用模板的方式快速部署需要用到的产品。步骤1 在总控制台页面,进入 CADT的控制台。文档版本:20220622 6 容器跨...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,文件存储NAS,容器服务 ACK,云数据库 Redis 版,云速搭CADT
OpenAPI实现云主机闪电交付
OpenAPI实现云主机闪电交付
闪电交付最佳实践使用Alibaba Cloud Linux 2 镜像来快速创建大量的ECS云主机,满足客户在处理热点事件时大量且紧急的算力需求。 本实践针对在短暂时间内需要快速交付大量ECS实例的场景。通过调用阿里云Open API实现快速的跨VPC部署大量ECS实例,满足用户对高弹性算力的需求,而且ECS启动的时间很短。对于社交媒体,在线教育等存在线上热点活动的用户,该方案可以提高客户的使用体验
产品列表 云服务器 ECS Alibaba Cloud Linux 2 最佳实践频道 阿里云最佳实践分享 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 OpenAPI实现 云主机闪电交付 最佳实践 文档版本:20201203(发布日期)文档版本:20150122(发布日期)II OpenAPI实现云主机闪电...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,OpenAPI,Alibaba Cloud Linux ,云速搭CADT
< 1 2 3 4 ... 10 >
共有10页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用