SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
云速搭CADT（CloudArchitectDesignTools）：是一款为上云应用提供自助 式云架构管理的产品，显著地降低应用云上管理的难度和时间成本。本产品提 供丰富的预制应用架构模板，同时也支持自助拖拽方式定义应用云上架构；支 持较多阿里云服务的配置和管理。用户可以方便的对云上架构方案的成本、部 署、运维、回收进行全生命...
基于MSE云原生网关实现全链路灰度
在微服务场景中，应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时，可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力，您无需修改业务代码，就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则，可以将满足规则的请求流量路由到目标版本的应用。
文档版本：20240429 33基于MSE云原生网关实现全链路灰度最佳实践 步骤8测试灰度版本流量 使用curl命令测试灰度流量，其中公网ip替换成mse网关的公网ip。测试命令 curl-H"canary:gray"47.115.37.14/a#测试结果 Agray[192.168.0.117]->B[192.168.0.114]->Cgray[192.168.0.116]如测试结果所示，流量经过了A、C的灰度环境，由于...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
因为kafka-sync-func-ram-a函数负责从阿里云上的业务系统Kafka实例向模拟线下自 建开源Kafka集群同步消息，所以目标Kafka的连接地址是部署在ECS上的开源Kafka 集群，因为北京Region和上海Region网络在架构图中通过VPC对等连接进行了打通，所以使用该ECS的内网IP地址即可。步骤3 找到层，点击编辑。添加层，选择添加自定义层...
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云，提供高并发，高吞吐，高安全等特性，适用于金融，电力，电信，制造业等传统客户的核心交易系统。
申请HaVip 高可用虚拟IP（High-AvailabilityVirtualIPAddress，简称HaVip）是一种可以独立创 建和释放的私网IP资源，HaVip在RAC场景用于scan-ip 以及RAC节点的虚拟IP。HaVip功能正在公测，您可以登录阿里云配额中心控制台进行自助申请。 申请链接：...
轻量级GPU部署云游戏最佳实践
随着AI深度学习，视频处理，科学计算以及图形可视化等应用场景的普及，GPU的市场需求越来越大，但单颗物理GPU起步至超大规模弹性计算带来的计算能力过剩成本上升问题也越来越明显。轻量级GPU的诞生打破了传统直通模式的局限，可以提供比单颗物理GPU更细粒度的服务，从而让客户以更低成本、更高弹性开展业务。
Profile name：自定义 Host：ECS的公网 IP地址 RTP over TCP：勾选上 其他参数保持默认 文档版本：20220211 19 轻量级 GPU部署云游戏 安装 gaminganywhere Android客户端 步骤4 按系统键返回，提示选择 yes保存。文档版本：20220211 20 轻量级 GPU部署云游戏 安装 gaminganywhere Android客户端 步骤5 选择 profile连接...
混合云数据库统一管理
本最佳实践描述在混合云场景下，用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库，并通过DTS实现IDC数据库和云上RDS的数据同步， DBS将数据备份到云上
阿里云提供了通过数据库网关录入第三方云数据库的功能，无需开放数据库的公网地 址即可完成连接，对数据传输进行安全加密，同时免防火墙配置，大大降低使用门槛。本最佳实践描述在混合云场景下，如何利用阿里云数据库网关服务对云上的 RDS 服 务和 IDC中的本地数据库进行统一管理。本最佳实践的网络规划方案如下：类型 地域...
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
vim/usr/local/prometheus/prometheus.yml#追加以下列代码-job_name:'CentOS7_VMServer' static_configs:targets:['101.200.74.60:9100']#其中这里的 IP地址为 ECS（ecs-monitored）的公网 IP地址。文档版本：20211021 55 基于 SLS实现统一告警最佳实践 配置自定义告警#修改完保存，并重启 prometheus服务 systemctl ...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
本实践通过 HttpClient.java、IP2Region.java实现将访问 APP的 IP地址转化为地理 位置。IP2Region.java 通过 NAT 网 关 配 置 SNAT 访 问 公 网 服 务 http://whois.pconline.com.cn/ipJson.jsp?json=true&ip={ip}获取地理位置信息。本方式 仅演示外网访问和自定义函数 UDX，不适合生产环境使用。public class IP2Region ...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
支持停机不收费的 ECS资源包括：ￚ 计算资源（vCPU和内存）ￚ 固定公网 IP地址和带宽 不支持停机不收费的 ECS资源包括但不限于：ￚ 系统盘 ￚ 实例上挂载的数据盘 ￚ 弹性公网 IP（EIP）和带宽 ￚ 镜像 ￚ 快照 步骤1 以大数据 EMR集群为例，我们进入 ECS控制台，通过停机不收费的方式，关掉 Task 实例组的按量付费实例...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
本实践 IP地址为 60.205.217.59 文档版本：20191111（发布日期）12 EMR本地盘实例大规模数据集测试最佳实践 大数据集群测试环境 步骤2 下载 hive-testbench源码 yum install git#如果已经安装了 git，不用执行此命令 git clone https://github.com/hortonworks/hive-testbench.git 步骤3 可以查看下 hive-testbench测试框架...
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云， 应 用采用 docker 方式部署， 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理，简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务，提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版（ACK） 微服务引擎（MSE） 关系数据库服务（RDS） 应用高可用服务（AHAS） 应用实时监控服务（ARMS）
对 dubbo-provider、dubbo-consumer的 dubbo配置进行修改：将 zookeeper的 地址配置为虚拟机 dubbo-zk的私网 IP地址。大图显示如下：2.MySQL配置。对 dubbo-provider的 MySQL配置进行修改：文档版本：20220208 12 Dubbo应用上云 模拟Dubbo应用 大图显示如下：步骤4 编译 demo应用。在应用的根目录执行命令：cd~/132 文档...
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
您可以完全掌控自己的专有网络，例如选择 IP地址范围、配置路由表和网关等，您可以在自己定义的专有网络中使用阿里云资源如云服务器、云数据库 RDS 版和负 载均衡等。专有网络（VPC）是完全隔离的网络环境，可以提升应用服务器和数据库 服务器的网络安全。操作须知 在创建云数据库前，您需要先创建 VPC网络，并指定网段。...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
获取 Kafka 接入点 在 EMR Kafka集群页面中，展开 emr_core_1后有三个节点，记录这三个 IP地 址。记录上述地址，后续章节需要用到。192.168.0.231，192.168.0.232，192.168.0.233 3.2.配置 App Server 应用环境 CADT架构图中，双击 ecs“业务应用”，点击 远程登录。文档版本：20240419 12 大数据近实时数据投递 MaxCompute...
基于HBR云上统一备份
场景描述 混合云备份（简称HBR）是一种简单易用且高性价 比的在线备份服务，可以为阿里云ECS，NAS，OSS 以及自建机房内的各类数据提供安全，高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
应用范围 通用行业 名词解释 专有网络 VPC：Virtual Private Cloud，简称 VPC，是基于阿里云创建的自定义 私有网络，不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络 内创建和管理云产品实例，比如 ECS、负载均衡、RDS等。在部署云资源前，您需要结合具体业务，规划 VPC和交换机的数量及网段等。更多信息，请...
专有网络 VPC
阿里云专有网络VPC（Virtual Private Cloud），是由虚拟网络设备（如虚拟交换机/虚拟路由器）组成的虚拟专有网络服务，帮助您基于阿里云构建一个逻辑隔离的私有云。您可以通过专线/VPN等方式与传统数据中心连接，组成一个按需定制的免费虚拟专有网络环境，实现应用的平滑迁移上云。
通过交换机可将专有网络的私有 IP 地址划分成一个或多个子网，根据需要将应用程序和其他服务部署在对应的交换机下.自定义路由规则.根据业务需求配置虚拟路由器的路由规则，管理专有网络流量的转发路径.自定义IP 地址范围、网段、路由表和网关等，按需对网络进行规划和管理.自定义网络规划.使用安全组功能，可以将专有网络中...
来自：
云产品
音视频行业单线静态公网接入最佳实践
在音视频、下载领域，部分客户出于某些特定的原因需要使用单线EIP，考虑到单线EIP相较于多线BPG EIP存在单点故障的风险，因此会在一个节点上同时绑定多个运营商的单线EIP，通过设置内部的路由调度策略实现链路的高可靠。当用户有下载请求时，会首先通过调度策略调度到与用户相同运营商对外服务的IP地址。
当用户有下载请求时，会首先通过调度策略调度到与用 户相同运营商对外服务的 IP地址。产品列表 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 云服务器 ECS 弹性公网 IP 云速搭 CADT 如二维码过期，请搜索群号：31852400 阿里云 音视频行业单线静态公网接入 最佳实践 文档版本：20221107 文档版本：20150122（发布日期）...
云服务器基准性能测试
本最佳实践适合利用标准的benchmark工具对云服务器的CPU、内存、网络和磁盘性能进行测试的场景。
应用范围 利用标准的 benchmark工具对云服务器的 CPU、内存、网络和磁盘性能进行测试的 场景。名词解释 云服务器 ECS（Elastic Compute Service）是一种简单高效、处理能力可弹性伸 缩的计算服务。帮助您构建更稳定、安全的应用，提升运维效率，降低 IT成本，使您更专注于核心业务创新。详见 ...
组建多可用区多地域的混合云
场景描述 无特定行业属性，对云下有IDC的用户，上云建 立多地域多可用区高稳定性的业务架构，组建混 合云用户都可适用。物理专线是打通IDC到云上 内网通道的最高质量和稳定性最好方式，但成本 较高，交付周期长。 解决问题 云下用户IDC应对业务突增弹性扩容能力 不足; 云下用户IDC业务需要多地域冗余; 云上阿里云业务需要多地域冗余; 云上阿里云业务需要多可用区冗余. 产品列表 VPC，CEN，高速通道（专线），SLB，ECS
云下 IDC访问上海地域服务 A-C 以示例中 A windows主机,可 ping其 IP地址和直接 web浏览器访问 ping 10.10.60.11 是通的 web访问 B的地址业务正常,多刷几次页面会在 SH-ECS1和 SH-ECS2之间跳转负载均衡正 常.文档版本：20210805 29 组建多可用区多地域的混合云最佳实践 竣工验收 7.3.阿里云北京与上海互访 B-C 分别以北京的...
阿里云最佳实践容器workshop
通过本篇最佳实践，可以熟悉容器及k8s的基本操作。基于eci的高弹性架构，能有效的应对业务流量洪峰，同时提升资源使用效率。
创建完成后，可以查看到 Service的 IP地址：文档版本：20220301（发布日期）38 阿里云ACK容器服务workshop 阿里云 ACK实践 步骤3 通过 EIP登录到 worker节点，查询 Service信息。通过 curl命令正常访问 Service：kubectl get services-o wide curl 172.21.4.37 3.3.3.公网 Ingress访问 公网可以通过 Ingress访问应用。本...
- 产品推荐
- 这些文档可能帮助您