SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
文档版本：20211203 64 SLS多云日志采集、处理及分析 编写 Spark作业源码解读及问题排查 步骤5 使用如下命令执行 spark作业（accessKeyId，accessKeySecret从阿里云账号管理 中获取，endpoint，project，logStore 从日志服务中获取，kafkaHost，topic 从 kafka集群中获取 master节点私网 ip和 topic名称）：spark-submit-...
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。 同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多VPC下的数据迁移和 同步，本方案提供详细的操作步骤，帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通，特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网（CEN）、云服务器（ECS）、数据库（RDS）、 数据库（Redis）、数据传输（DTS）、负载均衡（SLB） 块存储、专有网络（VPC）
登录到已加载的网络实例的内的任何一台 ECS实例，然后使用 ping命令，ping另外 地域已加载的网络实例内的 ECS实例的私网 IP，查看是否互通。说明：确保 ECS实例的安全组中配置了相应的授权规则。步骤1 登录深圳的 ECS，通过远程连接方式。步骤2 输入远程连接密码。步骤3 登录服务器并访问德国（法兰克福）ecs的私网地址。...
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
echo"ElasticSearch服务器的私网 IP地址 elasticsearch">>/etc/hosts 步骤3 执行下面命令，将自动下载并解压 Logstash和一个样例配置文件，并启动 Logstash 工具，配置文件中将 Magento的接入日志/var/log/httpd/magento-access_log内容作 为输入，并输出到 ElasticSearch的索引 magento_access_logs中。cd~#wget ...
混合云数据库统一管理
本最佳实践描述在混合云场景下，用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库，并通过DTS实现IDC数据库和云上RDS的数据同步， DBS将数据备份到云上
1.选择智能接入网关接入，输入 IDC数据库的私网 IP地址，测试通过后单击授权白 名单并进入下一步：文档版本：20201224（发布日期）42 混合云数据库统一管理 IDC数据同步 RDS 2.为 RDS授权白名单：3.给 RDS配置完白名单后，设定迁移属性。选择全量数据迁移，目标库名修改为 poc_prod。文档版本：20201224（发布日期）43 混合...
基于转发路由器构建企业级组网
通过云企业网转发路由器 1. 实现灵活的互通、隔离、引流策略 2. VPC 间的内网互访流量经过三方安全设备管控（如Palo Alto） 3. 统一多 VPC 的互联网访问出口，提高业务安全性
注意事项如下 1）专有网络与交换机的选择与 Palo Alto ECS保持一致 2）主私网 IP必须是在所属 VSwitch的地址段内的空闲地址。也可以不指定，默认 随机分配该交换机中的空闲地址。文档版本：20210204 34 基于转发路由器构建企业级组网 企业级组网场景 步骤4 绑定弹性网卡到 Palo Alto ECS 2.3.4.2.配置 Palo Alto流量端口 ...
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境，对业 务数据有云上备份需求。在客户交流过程中，基 于数据高可用和灾备需求，要求将数据备份至阿 里云OSS的存储空间，同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC，ECS，DBS，VPN网关，OSS
SourceEndpointInstanceI vpc-bp1XXXX1v 数据库实例 ID，本例中填 D 写 ecs-magento所关联到 的 VPC ID SourceEndpointIP 192.168.100.7 数据库连接地址，ecs-magento的私网 IP地 址。SourceEndpointPort 3306 数据库端口 SourceEndpointUserNam root 数据库实例用户名 e SourceEndpointPassword 123456 数据库实例密码 ...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
配置 Ranger 本节首先在 Ranger中启用 Kafka，然后通过 Ranger管理界面添加 Kafka Service和 对应的 Policy，该 Policy中仅允许日志发生器所在的 ECS私网 IP地址，向 Kafka主 题 log-generator-topic发布（Publish）消息。2.6.1.在 Ranger服务中启用 Kafka 步骤1 在 EMR Kafka集群控制台的 Ranger服务中启用 Kafka。文档...
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
文档版本：20210827 23 企业构建统一 CMDB数据源 API获取配置数据 步骤2 停止 ECS实例（ecs-network）步骤3 修改它的私网 IP地址，更改为 192.168.1.200。文档版本：20210827 24 企业构建统一 CMDB数据源 API获取配置数据 步骤4 配置审计的变更数据，大多数能够在 10分钟内完成，查看 ECS-script在控制台的最 新配置变化...
云速搭部署安全组最佳实践
本实践通过云速搭实现安全组和企业安全组的部署。
详见：https://help.aliyun.com/document_detail/25387.html 企业安全组：与普通安全组相比，企业安全组能够容纳更多的 ECS实例、弹性网 卡和私网 IP地址，同时简化了安全组规则的配置策略，使用更方便。企业安全组 适用于对运维效率、ECS实例规格以及计算节点规模有更高需求的场景。详见：...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
1.收集 4个节点的私网 IP地址和对应的主机名，如下所示（请根据您环境的实际 IP 地址进行修改）：192.168.100.37 master 192.168.100.38 slave1 192.168.100.39 slave2 文档版本：20210425 7 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 基础环境搭建 192.168.100.41 slave3 2.通过 SSH远程登录 hadoop-master...
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云， 应 用采用 docker 方式部署， 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理，简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务，提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版（ACK） 微服务引擎（MSE） 关系数据库服务（RDS） 应用高可用服务（AHAS） 应用实时监控服务（ARMS）
对 dubbo-provider、dubbo-consumer的 dubbo配置进行修改：将 zookeeper的 地址配置为虚拟机 dubbo-zk的私网 IP地址。大图显示如下：2.MySQL配置。对 dubbo-provider的 MySQL配置进行修改：文档版本：20220208 12 Dubbo应用上云 模拟Dubbo应用 大图显示如下：步骤4 编译 demo应用。在应用的根目录执行命令：cd~/132 文档...
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境，并使用AIACC加速工具进行加速。
步骤13 查看 GPU节点的私网 IP，并在 CPFS管理节点上使用 cpfs add 192.168.x.x添加节 点 IP。27 FastGPU极速 AI推理 运行 GTC Demo 步骤14 使用 mmlscluster可以查看节点已经添加成功。步骤15 使用 mmlsfs 03dd2792794bf67a-000001-T查看 CPFS默认路径（其中 03ddxxxxx 参考图示的内容获取）。步骤16 在 GPU服务器上使用 ...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
1.收集 3个节点的私网 IP地址和对应的主机名，如下所示（请根据您环境的实际 IP 地址进行修改）：192.168.10.205 master 192.168.10.207 slave1 文档版本：20211029 9 CDH迁移升级 CDP最佳实践 基础环境搭建 192.168.10.208 slave2 192.168.10.206 slave3 2.通过 SSH远程登录 master节点所在的 ECS实例，通过 vim编辑器将...
私网CLB监听端口自转发
通过云速搭实现一个 EIP-CLB->ECS 的简单架构，实现其中 CLB 前端在监听到http 80 端口的请求时，基于一个配置的自转发规则会把请求转发到自己监听的 https 443端口，以确保请求拥有可信的证书，然后转发给后端的 80 或其他端口，后端应用则无需校验证书就能确定收到的请求是可信的。
通过云速搭部署资源 步骤6 双击 eip，配置其属性：选择公网、按量付费，带宽 50 Mbps 步骤7 双击 slb图标，选择按量付费方式，slb.s1.small简约型规格，备可用区选择华北 2 可 用区 G，实例类型选择私网，按流量计费，IP版本选择 ipv4：文档版本：20211112 8 私网CLB监听端口自转发 通过云速搭部署资源 步骤8 双击 ecs图标...
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
弹性公网IP：弹性公网IP是独立的公网IP资源，可与阿里云专有网络VPC类型 的云服务器ECS、NAT网关、ENI网卡、私网负载均衡SLB绑定，并可以动态 解绑满足灵活管理的要求。弹性公网IP可为您在云上部署的网站提供Internet访 问服务。 云消息队列RocketMQ版：是阿里云基于ApacheRocketMQ构建的低延迟、高 并发、高可用、高...
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容，并用以路由转发规则判断
在架构图上双击对 应的产品组件，在下方弹出的资源清单中，点击“前往控制台”链接，即可跳转到对 应产品的控制台详情页面 步骤8 检查确认部署的产品组件，本次在北京区域共部署了 1个 MSE实例（带公网 CLB）、2个私网 CLB、2个 SAE应用 文档版本：20240426 7 MSE云原生网关解析 body内容进行路由转发 部署基础环境 文档...
通过私网访问云服务
使用PrivateLink就可以通过私网访问其他VPC提供的服务，无需创建NAT网关或EIP等公网出口，更好的保障安全性和网络质量。支持同账号和跨账号的VPC间私网访问。另外 私网调用阿里云OpenAPI也有两种可选方案
文档版本：20210325 6 通过私网访问云服务最佳实践 通过 VPC接入地址调用API 创建终端节点后，查看终端节点的域名或者 IP。支持以下三种方式的访问：终端节点 域名，可用区域名和 IP地址。实际终端节点域名和可用区域名都被解析到 IP地址的。目前的状态是等待连接，需要在终端节点服务端允许连接才可以正常通信。文档版本：...
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
弹性公 网IP可为您在云上部署的网站提供Internet访问服务。 云速搭CADT（CloudArchitectDesignTools）：是一款为上云应用提供自助式云架构管理 的产品，显著地降低应用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模 板，同时也支持自助拖拽方式定义应用云上架构；支持较多阿里云服务的配置和管理。用 户可以...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
容器多云统一监控日志 最佳实践 业务架构 场景描述 多云、混合云...bin/bash#AuthorHanyan&James exportK8S_VERSION=1.18.9 exportMASTER_IP=$(ifconfigeth0|grepnetmask|awk'{print$2}')exportPOD_SUBNET=10.100.0.0/16#生成本地执行文件/root/install_k8s_onectl.sh cat>/root/install_k8s_onectl.sh>/etc/sysctl.conf echo...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
场景验证 填入以下yaml内容：apiVersion:v1 kind:Service metadata:name:sae-consumer-svc spec:ports:port:80-kind:Endpoints apiVersion:v1 metadata:name:sae-consumer-svc namespace:default subsets:addresses:ip:xx.xx.xx.xx ports:port:8080 addresses属性下的ip属性值为绑定在SAE中SAE-Consumer应用上的私网SLBIP，...
- 产品推荐
- 这些文档可能帮助您