通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
通过ES兼容接口方式使用Kibana访问SLS数据最佳实践 业务架构 场景描述 日志服务SLS提供Elasticsearch兼容接口，支 持客户将日志采集到日志服务后，仍可以继续沿 用Elasticsearch的查询方案，即通过使用 Kibana访问日志服务的Elasticsearch兼容接 口，实现查询SLS数据。应用场景 自建ELK日志系统的客户迁移到阿里云日志服 务...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
方案优势 本实践通过云速搭CADT，一键完成基础环境的搭建和部 署，提供可视化部署方案和stepbystep实操指导：1、高可靠：支持多可用区容灾，具备完善的流量防护、健 康检测、自动恢复等能力，优化大量可用性痛点，保证引 擎持久稳定运行。2、低成本：节省用户自建网关、注册配置中心、微服务治 理体系的人力成本，高性能及...
自建ELK迁移阿里云日志服务
场景描述 ELK Stack（Elastic/Logstash/Kibana） 通常 被用于日志实时分析， 在开源社区中有大量 的内容和使用案例。 本文介绍如何将自建的 ELK 系统迁移到阿里云 SLS 日志服务。 解决问题 1. 自建 ELK 如何迁移到阿里云日志服务。 2. 如何使用 Logtail 采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、 分析。 产品列表 阿里云日志服务（SLS） VPN 网关 IPSec VPN 云服务器
自建 ELK迁移阿里云日志服务 SLS最佳实践 业务架构 场景描述 ELKStack（Elastic/Logstash/Kibana）通常被用于日 志实时分析场景，在开源社区中有大量的内容和使用 案例。通常自建的ELK系统在弹性、功能、成本、优化、稳定性等方面客户会遇到较多问题，本文介绍 如何将自建的ELK系统迁移到阿里云SLS日志服 务。应用场景 1.自...
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
Serverless版 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 基于云速搭 CADT快速部署药物筛选批量计算环境-Serverless版 文档编号 354 文档版本 v1.1 版本日期 2024-02-04 文档状态 外部发布 制作人 厉博 审阅人 石益,潇凡，瑜姝，游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2024-01-22 厉博 石益,...
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志，企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志；目前各云产品日志大部分 都进了sls，但都是产品独立的project，不方便集中 审计；客户的业务系统日志各种形态都有；多云和混 合云的场景，日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
需要集中一起审计的日志，一般都是配置、事件、告警等日志，不包括业务流量的日 志（业务流量日志一般独立分析、查询即可），所以日志集中审计不会增加多少费用。本章节以云防火墙产品为例，迁移云防火产品的日志到日志审计服务的中心 project下。其他产品的接入，都可以采用相同的方法。5.1.开通云防火墙 步骤1 通过产品与...
云速搭部署SLS实现日志采集处理分析
通过云速搭部署ECS+SLS，在ECS上安装logtail收集Nginx应用日志写入SLS。通过日志生成器模拟Nginx日志生成，并通过SLS进行日志分析。
文档版本：20211203 30 云速搭部署 SLS实现日志采集处理分析 Logtail日志采集处理分析 注意：查询分析设置的修改操作只会对新写入的数据生效，如果您需要提前对查询分 析设置的某些字段分析统计生效，请使用指定字段查询的自定义方式在日志写入到日 志库之前进行开启统计查询。步骤4 再次启动日志发生器和停止日志发生器。...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
按照 2.5节的方式分别在日志机器组的两台 ECS实例开启日志发生器，等待数分钟 后停止 文档版本：20211203 76 SLS多云日志采集、处理及分析 日志服务器集群公网日志数据传递到日志服务 步骤15 查看日志库日志 回到日志服务控制台，选择创建的日志库 test20191009，可以看到日志机器组的日 志已经传递到日志服务：文档版本：...
基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如ZABBIX，Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备，仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能，但是都存在着如下的问题： l 数据覆盖不完整 l 存在数据孤岛（无法关联协同） l 使用门槛高，不够人性化 核心价值 l 全覆盖，统一协议，支持各类平台。 l 数据关联，统一Schema，关联Metrics/Logs。 l 云原生，SaaS服务，拥抱云原生。 l 简单易用，自动化埋点，数十项易用功能。 智能化，异常诊断，根因分析。
基于日志服务构建业务可观察性系统 文档编号 220 文档版本 V1.0 版本日期 2021-06-16 文档状态 对外发布 制作人 七凌、谷奈 审阅人 天裵 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-06-14 七凌、谷奈 天裵 创建 文档版本：20210616 I 基于日志服务构建业务可观察性系统 产品介绍 产品介绍 VPC：Virtual ...
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现，支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算，按照规定好的步骤依次完成 计算，这符合工作流的特点：多层次，有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
步骤7 选择示例模板（Resource-Genomics mapping-shared），其中 server配置为记 录的挂载点域名，并单击创建。步骤8 工作流状态显示 Running，单击操作列下的详情，查看工作流详细信息。文档版本：20191127 32 基因计算工作流最佳实践 工作流配置 步骤9 在 argo页面查看工作流信息。文档版本：20191127 33 基因计算工作流...
云工作流
云工作流 CloudFlow 是一个用来协调多个分布式任务执行的全托管 Serverless 云服务，用户可以用顺序、分支、并行等方式来编排分布式任务，服务会按照设定好的顺序可靠地协调任务执行，跟踪每个任务的状态转换，并在必要时执行用户定义的重试逻辑，以确保工作流顺利完成。
比如，来自不同数据源的计量数据被收集到日志服务，函数计算的定时器每小时触发工作流，云工作流利用函数计算对多个Shard的计量数据做并行处理，并将结果分别写回日志服务服务；然后可以将所有Shard产生文件进行聚合，写入表格存储，最后为每个用户生成账单。工作流支持对流程中的单个步骤失败进行重试，降低流程失败概率。...
来自：
云产品
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
自定义条件 对海量明细日志记录进行过滤，分析用户行为。用户分群统计 构建用户特征大宽表，任意选择用户属性标签数据和筛选条件，进行人群特征统计 分析。访客来源分析展示 通过批量离线计算对用户访问日志进行用户行为关联，生成用户行为路径大宽表 同步到 ClickHouse，基于 ClickHoue构建交互式访客来源探索分析可视化...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
用户可以用顺序、分支、并行等方式来编排分布式任务，FnF 会按照设定好的顺序可靠地协调任务 执行，跟踪每个任务的状态转换，并在必要时执行用户定义的重试逻辑，以确保工 作流顺利完成。详见 https://cn.aliyun.com/product/fnf 日志服务（SLS）:行业领先的日志大数据解决方案，一站式提供数据收集、清洗、分析、可视化和...
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
基于 SLS实现统一告警 最佳实践 业务架构 场景描述 告警监控对于一个企业有着至关重要的作 用，然而很多企业在告警运维方面存在着重 复建设、监控质量差、告警风暴、触达不人 性化、无法闭环等问题。SLS告警提供了一站式云上告警管理方案，能够有效的解决企业在使用告警中的痛点。本文以通过自定义告警、Prometheus 告 警、...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
实例优化 在开发和测试环境，我们往往能够通过停机不收费的方式，大大节约资源，降低成本，比如非工作日、每日下班时间，都可以通过脚本或者定时任务将云服务的资源进行停 机操作，本实践将以 ECS的停机不收费来练习。2.1.停机不收费 停机不收费功能可以在保留云服务器 ECS 的前提下回收部分资源，从而降低整体费 用。支持...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
阿里云最佳实践容器workshop
通过本篇最佳实践，可以熟悉容器及k8s的基本操作。基于eci的高弹性架构，能有效的应对业务流量洪峰，同时提升资源使用效率。
洁谦，衾影，厉博，游士，毕役 审阅人-文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-03-03 川知，毕役 天裵，阿瑟 创建 V1.1 2021-07-28 川知 补充 cicd、pts压测，优化流程 V2.0 2021-09-10 游士 七凌 更新压测参数配置，移动部分 内容至容器高阶版，优化并重 新排列内容.V2.1 2021-09-26 游士 敬海 根据实训的...
- 产品推荐
- 这些文档可能帮助您