云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
在本案例里，采用 serverless版本的 Kubernetes来模拟业务应用的运行平台，这种 类型的托管服务，无需创建和管理 K8s里面的 Master和 worker，其底层基于 ECI容 器实例，按容器实例的使用资源量和时长（秒）计费 ASK的主要有以下几点优势：降低用户 kubernetes的门槛，无需管理 Node节点 无需考虑节点的容量规划 以 Pod为...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
云速搭部署高可用虚拟 IP HaVIP
通过云速搭部署一个高可用虚拟 IP，并挂载到两个 ECS 实例节点上，HAVIP 将自动与两个 ECS 关联，并接受通过 ARP 协议宣告 来绑定某个 ECS 的网卡。
云速搭部署高可用虚拟 IP HaVIP 文档版本信息 云速搭 部署高可用虚拟 IP HAVIP 最佳实践 文档版本：20211201（发布日期）云速搭部署高可用虚拟 IP HaVIP 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署高可用虚拟 IP HaVIP 文档编号 274 文档版本 V1.0 版本日期 2021-12-01 文档状态 对外发布 制作人 ...
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
通用场景 版本 5.5 支付方式 后付费 可用区数量 单可用区 规格族 云盘型 数据节点规格 elasticsearch.sn1ne.large 存储类型 SSD云盘 单点节点存储空 20GiB 间 数量 3 Kibana Kibana节点 勾选 节点规格 elasticsearch.sn1ne.large 文档版本：20210802 9 自建 ElasticSearch快照备份 OSS 基础环境搭建 其他选项 均不勾选 VPN ...
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境，并使用AIACC加速工具进行加速。
步骤13 查看 GPU节点的私网 IP，并在 CPFS管理节点上使用 cpfs add 192.168.x.x添加节 点 IP。27 FastGPU极速 AI推理 运行 GTC Demo 步骤14 使用 mmlscluster可以查看节点已经添加成功。步骤15 使用 mmlsfs 03dd2792794bf67a-000001-T查看 CPFS默认路径（其中 03ddxxxxx 参考图示的内容获取）。步骤16 在 GPU服务器上使用 ...
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
配置项 说明 地域和可用 中国 华东 1（杭州）杭州可用区 H 区 可用区数量 单可用区 实例规格 节点类型 数据节点 Kibana 节 专有主节 点 点 数据节点规格族 云盘型 1:4通用型 1:2计算型 1:4通用型 规格说明 4核 16G 1核 2G 2核 8G 数据节点存储类型 ESSD云盘 ESSD云盘 单节点存储空间 2048GiB 20GiB 数据节点数量 3 3 文档...
云速搭部署ACK集群
通过云速搭实现 ACK 的部署
云速搭部署 ACK集群 文档版本信息 云速搭 部署 ACK集群 最佳实践 文档版本：20220110（发布日期）云速搭部署 ACK集群 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署 ACK集群 文档编号 288 文档版本 V1.0 版本日期 2022-01-10 文档状态 对外发布 制作人 七凌 审阅人 文档变更记录 版本编号 日期 作者 ...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
更 多 信 息，请 参 见：https://www.aliyun.com/product/vpc ECS：Elastic Compute Service，简称 ECS。是阿里云提供的一种基础云计算服 务。无需提前采购硬件设备，根据业务需要，随时创建所需数量的云服务器 ECS 实例。在使用过程中，随着业务的扩展，可以随时扩容磁盘、增加带宽。也能随时 释放资源，节省费用。更多...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
最佳实践频道 阿里云最佳实践分享群 产品列表 VPC、Flink、Kafka、RDS、EMR 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 开源Flink迁移 实时计算 Flink全托管版 最佳实践 文档版本：20211222 文档版本：20150122（发布日期）II 开源 Flink迁移实时计算Flink全托管版 文档版本信息 文档版本信息 文本...
阿里云最佳实践容器workshop
通过本篇最佳实践，可以熟悉容器及k8s的基本操作。基于eci的高弹性架构，能有效的应对业务流量洪峰，同时提升资源使用效率。
需要对节 点扩容进行配置。CA会检测处于 Pending状态的 Pod，若是因为资源不足导致无法 调度，则会按照规则进行节点扩容。步骤1 进入集群详情页，单击节点池>自动弹性伸缩配置。步骤2 需要完成 ESS的角色授权以及为集群添加 ESS授权策略。1.以下以节点权限未被授权为例。更 多 其 他 授 权 场 景，请 参 考：...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
改造 Azkaban测试工程中 Job 98_add_device_and_user_type 使用者可以参考章节 6.2的步骤，改造另一个 Azkaban的 Job任务，这里提供一些信 息共使用者参考，详细步骤不再重复。◼ Job中原 SQL，修改点依然用黄色背景标识 insert into table hbase_external_table_job98_user_detail select substring(md5(concat(ipaddr,...
基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如ZABBIX，Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备，仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能，但是都存在着如下的问题： l 数据覆盖不完整 l 存在数据孤岛（无法关联协同） l 使用门槛高，不够人性化 核心价值 l 全覆盖，统一协议，支持各类平台。 l 数据关联，统一Schema，关联Metrics/Logs。 l 云原生，SaaS服务，拥抱云原生。 l 简单易用，自动化埋点，数十项易用功能。 智能化，异常诊断，根因分析。
步骤4 在参数页签下，修改 eventer节点中的相关信息。enabled：将 eventer>sinks>sls下的 enabled设置为 true。topic：可选，设置为您的集群名称，只支持英文字母 a-z、下划线（_）、连接号（-）。project：设置为您创建事件中心时的 Project名称。logstore：只能设置为 k8s-event。文档版本：20210616 33 基于日志服务构建...
SpringCloud应用托管到ACK服务
场景描述 本实践适用于将SpringCloud应用托管到 ACK服务的场景中，创建容器服务ACK后， 利用Helm一键部署SpringCloud应用，将 SpringCloud应用托管到容器服务ACK。 解决问题 1.将SpringCloud应用托管到容器服务 ACK 产品列表 容器服务ACK 云服务器ECS
本节采用云架构设计工具 CADT快速构建云上大数据采集系统的环境。注意：在使用 CADT部署资源之前，需要在控制台开通所用到的服务。2.1.登录 CADT控制台 通 过 下 图 所 示 方 式 登 录，或 者 访 问 链 接 直 接 登 录 均 可。（https://bpstudio.console.aliyun.com）步骤1 在 CADT主页面，单击新建>官方模板库新建。7 ...
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。
最佳实践频道 阿里云最佳实践分享群 阿里云 EMR HBase on OSS存算分离 集群快速恢复 最佳实践 文档版本：20220915（发布日期）EMR HBase on OSS存算分离集群快速恢复 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 EMR HBase on OSS存算分离集群快速恢复 文档编号 306 文档版本 V1.1 版本日期 2022-09-15 文档...
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
IP开放 8888 端口），假设管理机为本机电脑，可以通过 http://myresolver.net获取出口 IP 步骤4 按照 2.2节获取 Master节点 IP的方式在 EMR集群管理-集群基础信息里找到集群的 主实例组 步骤5 点击第 1台 Master节点，进入 ECS管理控制台，进入安全组设置界面 文档版本：20191111（发布日期）17 EMR本地盘实例大规模数据集...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
配置并启动日志发生器上的 Flume 本节主要介绍如何启动日志发生器和 Flume将日志信息发送到 Kafka队列。为了起到 对比作用，首先不开启 Flume安全相关选项，查看错误效果，在后续章节进行了相关 安全配置之后，可以看到对比的效果。步骤1 使用 root用户通过 SSH登录到日志发生器后台，并执行以下命令启动日志发生器。cd/opt...
- 产品推荐
- 这些文档可能帮助您