通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
应用场景 自建ELK日志系统的客户迁移到阿里云日志服 务SLS后，对SLS查询分析语法不太熟悉的客 户，可以继续沿用原有的查询分析习惯，在不改 变使用方式习惯的情况下，通过Elasticsearch 兼容接口的方式使用Kibana访问SLS。解决问题 如何使用ACK部署Wordpress应用，并使 用SLS采集容器日志到SLS 最大程度保障Elastic...
Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库（Oracle兼容 版）。通过ADAM将Oracle数据库迁移到 PolarDB数据库，可以降低应用升级、运 维成本，同时提升系统弹性，实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云， 通过ADAM评估迁移工具，降低迁移 风险，提高迁移效率。 2.使用PolarDB（Oracle兼容版）数据 库，提升数据库并发读能力，降低运维 成本。 产品列表 数据库和应用迁移（ADAM） PolarDB（Oracle兼容版） 云服务器（ECS） 专有网络（VPC）
是阿里云提供的一种基础云计算服 务。无需提前采购硬件设备，根据业务需要，随时创建所需数量的云服务器 ECS 实例。在使用过程中，随着业务的扩展，可以随时扩容磁盘、增加带宽。也能随时 释放资源，节省费用。更多信息，请参考：https://www.aliyun.com/product/ecs PolarDB（Oracle兼容版）：POLARDB是阿里巴巴自主研发的...
组建多可用区多地域的混合云
场景描述 无特定行业属性，对云下有IDC的用户，上云建 立多地域多可用区高稳定性的业务架构，组建混 合云用户都可适用。物理专线是打通IDC到云上 内网通道的最高质量和稳定性最好方式，但成本 较高，交付周期长。 解决问题 云下用户IDC应对业务突增弹性扩容能力 不足; 云下用户IDC业务需要多地域冗余; 云上阿里云业务需要多地域冗余; 云上阿里云业务需要多可用区冗余. 产品列表 VPC，CEN，高速通道（专线），SLB，ECS
配置上海服务器 从控制台登陆到上海地域的两台 ECS：1)安装 apache2 服务器 yum install httpd 2)使用如下命令简单配置 index.html 主页 cd/var/www/html echo "hello world,This is SH-ECS1.">index.html 3)启动服务 service httpd start 4)同样在另外一台 ECS 安装 apache2，配置 index.html 主页为 cd/var/...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
在 centos上可以通过 yum 快捷的安装 java运行环境。参考命令：yum search java|grep java-1.8.0-openjdk yum install java-1.8.0-openjdk.x86_64 文档版本：20201020 19 基于 Dataworks的大数据一站式开发及数据治理 日志采集 2.下载安装之后默认的目录为：/usr/lib/jvm/，查看目录：根据实际情况来配置环境变量，如下示例...
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
前言 前言 概述 本文简介了使用传统的 Gitlab+jenkins的组合实现持续集成，并对接阿里云的容器服 务 ACK，实现应用的自动化部署、升级，同时满足测试与生产环境的高度隔离。本文 以第三方开源项目 Piggymetrics为例，提供了从源码编译、镜像构建、应用测试、生 产上线的全流程，同时也介绍了如何通过 ACK管理自有 ...
微服务引擎的线上流量治理
随着业务不断创新，微服务架构及数字化转型不断落地，在这个过程中，大量企业采用了开源的组件构建了微服务，比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等，微服务的好处之一，在于快速迭代，如何在迭代过程中保障线上流量不受损？ 开源产品无运维工具，常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架，实现业务零改造，解决开源框架在生产落地过程中的痛点，例如无损上下线、标签路由等，并通过托管微服务开源组件（API网关、注册中心、配置中心等）的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助企业释放业务无关的运维成本，聚焦业务本身的运维和发展。 方案优势 快速集成：通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维：托管微服务依赖开源中间件的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助我们客户释放业务无关的运维成本，聚焦自身业务本身的运维和发展。 开源增强：提供开源框架在生产落地过程中的痛点，例如应用无损上下线/金丝雀发布/南北+东西流量打通等，帮助客户的业务提高自身SLA和降低自研成本。
本实践将重点介绍如何快速集成主流开源微服 务框架，实现业务零改造，解决开源框架在生产 落地过程中的痛点，例如无损上下线、标签路由 等，并通过托管微服务开源组件（API网关、注 册中心、配置中心等）的服务，提供白屏化监控 告警、容灾、宕机重启、扩缩容等能力，帮助企 业释放业务无关的运维成本，聚焦业务本身的运 ...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
IP2Region.java 通过 NAT 网 关 配 置 SNAT 访 问 公 网 服 务 http://whois.pconline.com.cn/ipJson.jsp?json=true&ip={ip}获取地理位置信息。本方式 仅演示外网访问和自定义函数 UDX，不适合生产环境使用。public class IP2Region extends TableFunction>{ private String urlPrefix=...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
最佳实践频道 阿里云最佳实践分享群 产品列表 ECS、VPC、RDS、ACK、DTS、SLB、CEN、PTS 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 异地双活场景下的数据双向同步 最佳实践 文档版本：20220209 文档版本：20150122（发布日期）II 异地双活场景下的数据双向同步...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
Spark on ECI大数据分析 最佳实践 业务架构 场景描述 云原生和大数据时代的到来,用户在拥抱云原 生进行容器化改造的同时也专注于数据分析，希望能够将云原生容器化编排改造带来的计 算资源弹性、计算资源成本优化、计算与存储 分离、资源调度隔离等优势与大数据分析进行 结合，因此可以将大数据分析与容器编排调度 主流技术...
云速搭部署SLS实现日志采集处理分析
通过云速搭部署ECS+SLS，在ECS上安装logtail收集Nginx应用日志写入SLS。通过日志生成器模拟Nginx日志生成，并通过SLS进行日志分析。
择安全组、ECS、SLS拖入对应区域中（参考 1.1，根据架构资源级别）文档版本：20211203 8 云速搭部署 SLS实现日志采集处理分析 通过云速搭 CADT部署资源 步骤6 双击 ECS配置实例信息，ECS实例信息如下：配置项 配置明细 购买方式 新购 可用区 实例名称 ecs-sls-demo 数量 1 支付方式 按量付费 实例规格 ecs.g6.xlarge(4c 16g...
企业应用（酒店PMS）混合云组网最佳实践
酒店上云是分阶段实施，线下和云上的混合云是长期 状态，需要保证线下多地域多分支、云上多地域之间 互相访问，且需要满足不同类型的企业节点的服务要 求，比如总部 IDC 要求带宽大，对安全可靠性要求 高等。
文档版本：20220520 12 企业应用（酒店 PMS）混合云组网最佳实践 部署应用并接入下线分支 步骤2 检查白名单 步骤3 这里可以看到云速搭已经将两个 ecs的内网地址加入白名单。2.3.检查负载均衡CLB配置 步骤1 在云速搭页面，双击 CLB图标，点击前往控制台。文档版本：20220520 13 企业应用（酒店 PMS）混合云组网最佳实践 部署...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
文档版本：20200106 4 Spring Cloud Netflix应用迁移 EDAS Spring Cloud Netflix应用迁移 EDAS平台介绍 2.EDAS提供了保证 SLA的服务发现与配置管理服务，您无需再自行运维 Eureka、Zookeeper、Consul等中间件，直接使用 EDAS提供的商业版服务发现与配置管 理。3.EDAS 服务治理界面提供了一个统一的服务治理控制台，目前仅...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
文档版本：20220207 40 数据库异地灾备 配置异地热备环境 说明：当源实例或者目标实例为阿里云实例时，此步骤会将 DTS服务器的 IP地址自 动添加到源实例或者目标实例的白名单中，用于保障 DTS服务器能够正常连接实例。步骤4 配置任务对象，点击 下一步保存任务并预检查。文档版本：20220207 41 数据库异地灾备 配置异地热备...
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
监控资源增量变化 步骤1 我们获取到了当前 ECS的网络配置，现在我们通过监听 SLS服务，获取 ECS网络资 源配置变更的数据。在这里我们使用到了:阿里云 Python SDK：aliyun-python-sdk-core SLS服务 Python SDK：aliyun-log-python-sdk pip3 install aliyun-log-python-sdk 步骤2 编辑 python脚本，更新如下信息，比如管理...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
文档版本：20211203 70 SLS多云日志采集、处理及分析 日志服务器集群公网日志数据传递到日志服务 步骤8 日志服务机器组添加日志服务器 按照本节步骤 1到步骤 6再在杭州区域同一 VPC同一可用区下创建一台 ECS日志服 务器并添加到日志服务机器组。文档版本：20211203 71 SLS多云日志采集、处理及分析 日志服务器集群公网日志...
Cloud Toolkit阿里云开发者插件工具
Cloud Toolkit - 阿里云集开发、测试、诊断、部署为一体的免费本地多IDE插件，帮助开发者真正实现任意服务器或 ECS、EDAS、Kubernetes、SAE、函数计算等一键式研发部署，支持Java规约、高效执行终端命令和 SQL等常见工具，研发速度提升8倍以上，大幅降低研发成本。
用户可以通过使用Json/Yaml格式的模版描述多个云计算资源（如ECS、RDS、SLB）的配置、依赖关系等，并自动完成所有云资源在多个不同地域以及多个账户中的部署和配置，实现基础设施即代码（Infrastructure as Code）.82A_通用引导卡片.82A_标题-copy-copy-copy.唐家哲,靖鑫,也树.手把手完成插件安装.全面详细地了解 Cloud ...
来自：
云产品
无影云电脑镜像升级包
在无影云电脑镜像升级包下载页面，下载对应镜像升级包，安装并升级为ASP协议的无影云电脑
主备架构双机实例，主备节点位于不同服务器实现秒级高可用，支持链接服务器、分布式事务、变更数据捕获等高级特性，涵盖 SQL Server 标准版和企业版.高可用版基础上增加只读实例，主实例与只读实例自动同步数据，提升七倍以上读性能，可实现RPO为零的数据可靠性，支持 SQL Server 企业版.3层安全防护，十项安全合规认证.云...
来自：
云产品
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业，从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节， 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）、迁云工具（SMC）、数据库 （RDS）、数据库（Redis）、数据传输（DTS）、 负载均衡（SLB）、专有络（VPC）等
sudo service httpd start 步骤4 Apache Web服务器配置为在每次系统启动时启动。sudo chkconfig httpd on 步骤5 访问公网地址，可以看到 Apache测试页面。2.3.下载 wordpress mkdir-p/opt/WP cd/opt/WP wget https://cn.wordpress.org/latest-zh_CN.tar.gz 文档日期：20200114 5 小型互联网迁移上阿里云最佳实践 他云初始化...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
本步骤首先在 Apache日志发生器 所在 ECS进行 Flume的安装和配置，然后将配置 后的 Flume软件包远程传输到 Kafka队列 所在 ECS。1.通过 ssh登录到 Apache日志发生器下载并解压 Flume。cd~wget https://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz tar zxfapache-flume-1.8.0-bin.tar.gz...
- 产品推荐
- 这些文档可能帮助您