云上成本优化workshop
云上成本优化workshop
某金融科技公司,它主要提供信贷,理财,电商等 服务,目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后,今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障,运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务, 白天的催收非常依赖晚上大数据计算的结果,若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做,会对公司业务造成严重影响。 后来,通过阿里云解决方案架构师建议的方案,将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法,目前已阶段性的解决因资源不足导致弹性扩 容失败的问题,但该方案在 Spot 计算资源不足 时,启用大量按量收费算力,带来了较高的成本, 并且抢占式实例和按量付费实例都不保证资源 100%交付,还是存在交付失败的可能性,特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在,就进一步增加了弹性扩 容失败的风险,从而影响业务正常运行。
云服务 ECS免去了您采购 IT硬件的前期准备,让您像使用水、电、天然气等公共资 源一样便捷、高效地使用服务器,实现计算资源的即开即和弹性伸缩。阿里云 ECS 持续提供创新型服务器,解决多种业务需求,助力您的业务发展。详见 https://www.aliyun.com/product/ecs CADT:是一款为上云应用提供自助式云架构管理的产品,...
来自: 最佳实践 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
基因计算工作流
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现,支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算,按照规定好的步骤依次完成 计算,这符合工作流的特点:多层次,有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
方案架构 基因计算所数据存放到共享存储 NAS上,所有节点计算时访问 NAS上的数据,结 果也存储到 NAS上。通过 Ingress服务提供 Argo UI供查看工作流使用。方案优势 使用容器部署应用,敏捷,弹性,可移植。容器服务 ACK已打通阿里云生态 20+产品,提供了极致弹性,海量镜像分发。共享存储 NAS/CPFS提供不同性能的共享存储...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,文件存储NAS,容器服务 ACK
自建ElasticSearch迁移阿里云
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例,演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道,介绍如何通过快照 的方式,将ElasticSearch索引数据安全备份到 阿里云OSS存储空间,以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例,进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC,ECS,VPN网关,OSS,阿里云ElasticSearch,云速搭CADT
阿里云 Elasticsearch 提供 100%兼容开源 Elasticsearch的功能,以及 Security、Machine Learning、Graph、APM等商业功能,致力于数据分析、数据搜索等场景 。与开源社区背后商业公司 Elastic战略合作,为客户提供企业级权限管控、安全监控告警、自动报表生成等场景服务。Logstash 文档版本:20210802 III 自建 Elastic...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,Elasticsearch,云速搭
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
使用 oss对象存储方案,计算存储分离节省客户存储成本,并为以后数据湖和多 计算框架做铺垫。推荐客户将数据格式存储为 Parquet,性能会有非常大优化。Databricks 数据洞察与阿里云其它产品(Kafka、Redis、MongoDB、Elasticseach、RDS和 MaxCompute等)进行了深度整合,支持以这些产品作为 Spark计算引擎的输入源或者输出...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
云行情
阿里云云行情系列产品是为了增加全球资本市场透明度,满足不同层次的客户信息需求。为金融机构、互联网公司、科技公司等行情客户提供端到端的一站式云行情产品服务,有效改进用户体验、降低技术和成本门槛、提升整体效率,助力行业数字化运营、仿真、实盘、高频、投研等方面转型能力提升,协助企业快速搭建稳定高质量的交易所行情基础服务。
云行情提供标准协议的通用标准化接口,您只需关注业务迭代和产品运营.基于三方通过统一的标准行情OpenAPI服务,有效地降低接入复杂度和一次性成本投入.行情服务成本.基于三方机构进行专业集群运维服务能力,提供伴随企业成长的云行情集群运营服务.集群服务运营.云服务器ECS.云数据库 MYSQL 版.负载均衡SLB.对象存储OSS.专有...
来自: 云产品
利用低成本链路完成业务数据迁移上云
利用低成本链路完成业务数据迁移上云
场景描述 随着云计算被越来越多的客户所接受,除业务系 统上云外,很多客户已经把业务数据搬迁上云。 业务数据量一般都比较大,迁移上云需要大量的 网络带宽,BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限(移 动/联通/电信均可),可用为迁移数据有效降低 成本。 解决问题 1.业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包
4 文档版本:20191230 利用低成本链路完成业务数据迁移上云 配置云上环境 地域 华东2(上海)可用区B 实例  架构:x86计算  分类:通用型  通用网络增强型sn2ne ecs.sn2ne.large(2vCPU,8GiB) 购买实例数量:1台 镜像 公共镜像 CentOS 7.664位 存储  系统盘 高效云盘40GiB  数据盘 高效云盘20GiB(根据实际数据...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS
加密服务HSM
阿里云加密服务(HSM)即云密码机,提供云上加密服务。加密服务使用经国家密码管理局检测认证的硬件密码机作为服务底层,帮助您满足数据安全方面的监管合规要求,保护云上业务数据隐私。为2022年北京冬奥会全面提供数据加密服务,保障冬奥会线上系统数据安全。
满足《GM/T 0029签名验签服务器技术规范》要求,提供基于PKI体系和数字证书的数字签名、验证签名等运算功能,可以保证关键业务信息的真实性、完整性和不可否认性.通用服务器密码机、金融数据密码机、签名验签密码机三种类型加密机,您可根据业务实际需求自由选择.三种类型的云加密机自由选择.更多产品与服务.应用中存在用户...
来自: 云产品
阿里云DNS
阿里云DNS覆盖了公网权威域名解析、内网域名解析、移动解析以及专有云的域名解析场景。为广大用户提供稳定、安全、快速、智能的域名解析服务,助力网站快速实现域名迁移及网站搭建,企业上云就来阿里云。
企业需求自定义内网域名,并把域名解析到专有网络VPC内的云服务器ECS,负载均衡SLB、云数据库Redis版、对象存储OSS等云资源,实现云资源在VPC内直接通过内网域名互相访问.内网域名解析时,私有域名只能在被与之关联的VPC内进行访问.支持自定义域名托管Zone及各种后缀与子域名,满足企业在构建私有域名DNS系统时的定制化需求...
来自: 云产品
SAP S/4HANA上云最佳实践
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型,阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
服务器 ECS免去了您采购 IT 硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用 务器,实现计算资源的即开即和弹性伸缩。阿里云ECS持续提供创新型服务器,解决多种业务需求,助力您的业务发展。详见:https://www.aliyun.com/product/ecs 云速搭 CADT:是一款为上云应用提供自助式云架构管理的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,NAT网关,云企业网,VPN网关
专有宿主机DDH
专有宿主机提供基于阿里云虚拟化托管、物理主机独享的单租户环境、通过独享硬件资源方式可以满足安全、合规、自定义部署、自带许可证(BYOL)需求,在专有宿主机上可以创建多种规格的ECS实例,继承了ECS实例的规格选择灵活、性能稳定的优点和特性。
宿主机从创建到可用只需10~20秒,服务开箱即,无需再次部署虚拟化。可根据业务需要随时响应,秒级构建和扩容云上专有资源池.更快的扩容速度.查看DDH所有相关文档.如何快速创建一台专有宿主机DDH.最常用的用户操作指导.使用中的常见问题解答.是否支持自划分VPC.是否支持挂载云盘.停机后的影响.物理机级别隔离.自动(可设置...
来自: 云产品
基于Elasticsearch的订单检索加速最佳实践
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高,核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题:单表记录不断增多,数据检索速度会变慢,尤其是对中文的模糊查询(建立普通索引完全不起作用)。虽然数据库自身在不断完善,但效果有限且没办法灵活扩展,复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库,数据集成产品提供Binlog实时订阅,实时解析、增量数据实时更新及二级索引库之间进行数据实时同步,为数据库提供“能力增益”, 不仅能从根本解决主库抗压问题,提升稳定性;同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
基于 Elasticsearch的订单检索加速最佳实践 业务架构 场景描述 随着企业信息化程度越来越高,核心业 数据存储在传统关系型数据库中不可避 免地会遇到一个问题:单表记录不断增多,数据检索速度会变慢,尤其是对中文的模糊 查询(建立普通索引完全不起作用)。虽然 数据库自身在不断完善,但效果有限且没办 法灵活扩展,...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,DataWorks,Elasticsearch
EHPC分子动力学最佳实践
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例,介绍阿里云EHPC分子动力学最佳实践。
服务器 ECS免去了您采购 IT硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器,实现计算资源的即开即和弹 性伸缩。阿里云 ECS持续提供创新型服务器,解决多种业务需求,助力您的业务 发展。详见 https://www.aliyun.com/product/ecs 文档版本:20211116 1 EHPC分子动力学最佳实践 目录 ...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC,云速搭CADT
云原生数据仓库AnalyticDB MySQL数据仓库
阿里云云原生数据仓库AnalyticDB MySQL版(简称AnalyticDB)是融合数据库、大数据技术于一体的云原生企业级数据仓库平台。云原生数据仓库AnalyticDB MySQL版支持数据实时写入和同步更新、实时计算和实时服务,可用于构建企业级报表系统、数据仓库和数据服务引擎。
通用:BI报表分析加速.与多种BI工具高度兼容,开箱即.更多应用场景请查看.查看更多商品.查看全部日志.查看更多商品.新开窗口打开.AnalyticDB MySQL使用文档.快速上手AnalyticDB MySQL.查看API使用文档.AnalyticDB MySQL技术交流.支持按小时设置计算资源弹性扩容规则,解决计算资源峰谷需求问题,降低计算资源成本.白天...
来自: 云产品
EHPC药物筛选
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境,运行药物筛选应用AutodockVina 的场景中,这里采用批处理方式来提交 作业,并可以可视化计算结果。 方案架构 1.计算之前,将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时,将数据从OSS拉取到文件共享存储NAS上 3.计算时,在EHPC集群上进行,计算节点从NAS上读写数据 • 容量型NAS:低成本,大容量 • 性能型NAS:适合高IOPS应用,作为临时目录 • CPFS:适合超大规模,并行度极高的作业 4.计算节点: • 如果对计算时间不敏感,希望低成本运算,可选ECS实例 • 如果时效性要求高,建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大,可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接(moleculardocking)模拟计算进行药物筛选,是模拟小分子配体和生物大分子受体的 相互作用,预测配体和受体的结合模式和亲和力。 • 通常,有很多已有的配体库,如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体,模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体,不同配体之间没有依赖,因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
使用 OSS保存计算结果 产品列表 弹性高性能计算 E-HPC 文件存储 NAS 对象存储 OSS 云速搭 CADT 最佳实践频道 阿里云最佳实践技术分享群 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 EHPC药物筛选最佳实践 文档版本:20210811 II 企业上云实践 EHPC...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC
图计算服务GraphCompute
阿里云图计算服务GraphCompute是一站式图数据管理和分析平台,支持图数据建模、导入与修改,支持Gremlin语言进行图查询,具备数据加载快、规模可扩展、查询延时低等优势。
例如木马病毒常使用若干域名进行恶意通讯和控制,在已经发现若干不安全域名的情况,可通过域名和服务器IP的关联关系,由对应的IP快速找出新的有问题的域名.图在处理关系数据上快速响应能力,极大提升了发现不安全因素的效率,避免了因安全问题带来的困扰和损失.高效挖掘风险因素.推荐搭配使用.可疑站点一网打尽.企业的基础...
来自: 云产品
全站加速DCDN
阿里云全站加速旨在提升动静态资源混合站点的访问体验,支持静态资源边缘缓存,动态内容最优路由回源传输,同时满足整体站点的全网访问速度及稳定性需求。全站加速构建于阿里云CDN平台之上,适用于动静混合型、纯动态型站点或应用的内容分发加速服务。
行业与通用最佳实践.全站加速支持泛域名加速吗?如何判断全站加速是否生效?如何查看资源包的使用情况?常见问题供查阅参考.更多产品服务.3200+节点构建全球边缘安全、低延迟、高可用的加速体验.限时5折!动态场景基础套餐:每月限定流量+动态请求数100万次/1000万次.新版实时日志发布:3大特性.新增产品能力、优化点介绍.
来自: 云产品
机场视频监控
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业,将线下视频文件通过混合云阵列缓存后,通过专线上传到阿里云OSS上。 也适用于其他混合云场景中,利用阵列缓存文件,并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道(专线)
混合云存储阵列和云存储服 相结合提供了一种经济高效,易于管理的混合云存储解决方案。详见:https://www.aliyun.com/product/hgw II 企业上云实践 机场视频监控最佳实践 目录 文档版本信息.I.法律声明 I 前言.II 目录.III 最佳实践概述.1 前置条件.3.1.混合云阵列配置 4 1.1.配置准备.4 1.2.混合云阵列基本配置.6 1.2.1....
来自: 最佳实践 | 相关产品:对象存储 OSS,高速通道,混合云存储阵列 Hybrid Cloud
自建Hadoop迁移到阿里云EMR
自建Hadoop迁移到阿里云EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
(若 Chrome浏览提示隐私 安全无法访问,可换 Safari/Edge浏览尝试。文档版本:20210714 40 自建Hadoop数据迁移到阿里云 EMR 启动数据迁移任务 4.3.在 EMR集群的 master节点进行少量数据迁移 步骤1 通过 SSH登录到自建 Hadoop集群的 master节点,查看目前已经生成的文件和大 小。hadoop fs-du-h/usr/dfs/data/flume/...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
云数据库RDS PostgreSQL
云数据库RDS PostgreSQL 版完全兼容开源PostgreSQL,基于云原生架构,软硬协同优化,提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展,支撑各领域场景化业务,如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件。
丰富运维功能,大幅降低运维成本.PostgreSQL具备强大的OLTP能力,拥有与商业数据库性能功能高度接近的查询优化、PL/pgSQL存储过程语言、复杂SQL并行查询能力,轻松应对企业复杂查询下的OLTP+OLAP混合业务场景.OLTP+OLAP高效复杂查询.Ganos时空数据库引擎介绍.支持Ganos/PostGIS,对空间/时空数据进行高效的存储、索引、...
来自: 云产品
< 1 2 3 4 ... 12 >
共有12页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用