基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如ZABBIX，Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备，仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能，但是都存在着如下的问题： l 数据覆盖不完整 l 存在数据孤岛（无法关联协同） l 使用门槛高，不够人性化 核心价值 l 全覆盖，统一协议，支持各类平台。 l 数据关联，统一Schema，关联Metrics/Logs。 l 云原生，SaaS服务，拥抱云原生。 l 简单易用，自动化埋点，数十项易用功能。 智能化，异常诊断，根因分析。
基于日志服务构建业务可观察性系统 部署架构 场景描述 现在已知的各种监控数据的工具，以及对应的监 控系统有非常多的选择，比如 ZABBIX，Prometheus，Skywalking等。但是这些系统都存 在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用 到很多的辅助设备，仪表盘，行车记录仪，...
阿里云最佳实践容器workshop
通过本篇最佳实践，可以熟悉容器及k8s的基本操作。基于eci的高弹性架构，能有效的应对业务流量洪峰，同时提升资源使用效率。
最大实例数的设置也是避免扩 容的节点数超出预期不可控。文档版本：20220301（发布日期）57 阿里云ACK容器服务workshop 弹性伸缩 步骤7 为了方便使用，选择密码登录方式，单击确认配置。步骤8 通过依赖检查，单击提交。伸缩状态已启用，节点池也已激活。文档版本：20220301（发布日期）58 阿里云ACK容器服务workshop 弹性...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
文档版本：20201020 43 基于 Dataworks的大数据一站式开发及数据治理 数据治理 步骤4 添加规格，比如本例监控错误数的波动情况，如果波动上升进行报警，即错误率飙升 的时候给我们报警，进一步查询错误原因。步骤5 可以先试跑测试数据规则。步骤6 关联调度，每次调度后都会检测数据规则。步骤7 添加 hive_log节点进行关联，...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
持续监控 资 源 监 控 数 据 接 入 Prometheus，产 品 详 情 页：https://www.aliyun.com/product/developerservices/prometheus 以前期规划好的 tag体系进行分摊（具体根据实际业务来定，包括公共服务部分）监控数据包括：计算资源 CPU&Memory 利用率 存储资源 CPU&Memory&Iops 利用率等 以消费账单与监控看版结合，基于...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
同时日志 服务还一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等 功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。详见：https://www.aliyun.com/product/sls 资源目录（RD）：RD（Resource Directory，资源目录）是面向企业客户提供的 一套多级账号和资源管理服务，使得企业 IT团队可以...
微服务引擎的线上流量治理
随着业务不断创新，微服务架构及数字化转型不断落地，在这个过程中，大量企业采用了开源的组件构建了微服务，比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等，微服务的好处之一，在于快速迭代，如何在迭代过程中保障线上流量不受损？ 开源产品无运维工具，常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架，实现业务零改造，解决开源框架在生产落地过程中的痛点，例如无损上下线、标签路由等，并通过托管微服务开源组件（API网关、注册中心、配置中心等）的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助企业释放业务无关的运维成本，聚焦业务本身的运维和发展。 方案优势 快速集成：通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维：托管微服务依赖开源中间件的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助我们客户释放业务无关的运维成本，聚焦自身业务本身的运维和发展。 开源增强：提供开源框架在生产落地过程中的痛点，例如应用无损上下线/金丝雀发布/南北+东西流量打通等，帮助客户的业务提高自身SLA和降低自研成本。
微服务引擎的线上流量治理 最佳实践 业务架构 背景描述 随着业务不断创新，微服务架构及数字化转型不 断落地，在这个过程中，大量企业采用了开源的 组件构建了微服务，比如有开源微服务全家桶之 称的 Spring Cloud体系或 Apache Dubbo等，微服务的好处之一，在于快速迭代，如何在迭代 过程中保障线上流量不受损？...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
一站式提供数据采集、加工、分析、告警可视 化与投递功能，全面提升研发、运维、运营和安全等场景数字化能力。更多信息，请参见：www.aliyun.com/product/sls Tracing Analysis： 链路追踪 Tracing Analysis为分布式应用的开发者提供了完整 的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开 发者...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自建 Hadoop集群 构建数据仓库和分析系统，购买阿里云 Databricks数据洞察集群之后，涉及到数仓数 据和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维，节省人力成 本。2.Databricks数据洞察...
互联网、电商Elasticsearch搜索
场景描述 每一个生活在互联网中的用户，每天都在经 历各种各样的“搜索”，查找电商网站商品、 信用卡账单、查电子发票、查附近的餐厅酒 店、查偶像、查交通等等。相对于传统的关 系型数据库，Elasticsearch只需要几毫秒的 时间，即可查询PB级数据并从中找到匹配 信息。利用Elasticsearch高可用性和易用 性，能够快速处理网站、APP丢给它的文本、 数字、日期、IP以及地理数据。 解决问题 1.电商网站商品、订单、物流等搜索 2.保险行业保单查询 3.互联网教育行业课程搜索 4.O2O行业地理位置搜索等 产品列表 云服务器ECS 专有网络VPC 负载均衡SLB 云数据库RDSMySQL版 Dataworks Elasticsearch 数据传输服务DTS
与开源社区背后商业公司 Elastic战略合作，为客户提供企业级权限管控、安全监控告警、自动报表生成等场景服务。更多信息，请参见 elasticsearch简介：（https://data.aliyun.com/product/elasticsearch）。大数据开发治理平台 DataWorks：是一个提供了大数据 OS能力、并以 all in one box的方式提供专业高效、安全可靠的一...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
步骤3 在搜索框中，输入“flink”，通过关键字找到“基于 flink的资讯场景实时数仓”这个模 文档版本：20220223（发布日期）10 基于 Flink的资讯场景实时数仓 基础环境部署 板，选中后，单击基于应用新建。步骤4 在架构设计页面，完成以下操作：双击 ecs图标，并设置 ecs的密码，建议：Test1234!双击 oss图标，修改 bucket...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
运维和数据应用部门执行实时监控、实时异常检测预警与实时调试。业务部门进行实时风控、实时推荐、实时效果分析和实时训练。6 文档版本：20240425利用交互式分析工具进行数据查询 产品简介 图2.实时分析架构图 加速查询MaxCompute离线数据 写入业务数据至离线数据仓库MaxCompute，通过Hologres直接加速查询或导入数 据...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
作为阿里巴巴数据中台的建设者，互联网电商行业离线大数据分析 最佳实践概述 DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论，同时与数万名政务/金融/零售/互联网/能源/制造等客户携手，助力产业数字化升级。 云原生大数据计算服务 MaxCompute：是面向分析的企业级 SaaS 模式云数据仓库，以 Serverless 架构提供...
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据，AK是软件程序访问阿里云资源的凭据。 如果AK被泄露，那么会造成非常严重的后果， 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿，等等。采用合适的方式来使用、 保护AK，是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
扫描二维码后，手机上会出现一串 6位数字，将手机端出现的 6位数字填写到网页的 验证码位置，并单击下一步。文档版本：20220211 15 AK防泄漏 封存主账号 绑定成功。3.2.3.登录验证 步骤1 重新登录控制台，验证双因子认证。若出现以下页面，说明双因子认证已经生效。文档版本：20220211 16 AK防泄漏 封存主账号 步骤2 开启双...
中小企业基于SAG APP实现云上移动办公
1. 客户端一键接入上云，配置自动化 2. 城域内 Internet 就近接入，快速高效 3. 数据加密传输，满足安全性要求 4. 阿里云控制台统一配置管理
控制台查看网络拓扑与配置.32 6.2.APP流量监控.33 6.3.跨账号云企业网实例授权.33 文档版本：20211008 1 中小企业基于 SAG APP实现云上移动办公最佳实践 最佳实践概述 最佳实践概述 本篇最佳实践会在华东 2上海和美西弗吉尼亚创建跨地域的 VPC，在 VPC内部署 ECS模拟办公系统应用。购买 SAG APP版并挂载到云连接网 CCN，...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
弹性计算实例关键指标 关键指标 六代增强型 七代高主频 vcpu核心数 80vcpu 192vcpu 频率 2.5/3.2Ghz 3.3/3.8Ghz 最高网络 25G*2 50G*2 最高 PPS能力 2400 万 PPS 2400万 PPS 高效云盘 云盘规格 SSD云盘 ESSD云盘 ESSD云盘 最高存储 IO 48 万 IOPS 60万 IOPS 最大并 Session数(万）200 400 MTU（最大传输单元）1500 8600 ...
弹性计算OOS审批流程自动化运维
场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例，介绍如何利用OOS在运维常见的部署系统、 扩容系统、回收系统三个场景中添加审批流程，并以 钉钉通知到对应的审批人员。 解决问题 1.对接阿里云API，通过OOS模板执行运维 任务，实现了运维自动化与可视化。 2.运维操作集成了RAM访问控制权限管理， 无需担心操作安全，并可以快速增加审批流 程，提高运维安全与效率。 产品列表 1.运维编排OOS 2.访问控制RAM 3.云服务器ECS 4.RDSMySQL版 5.负载均衡SLB
默认:String 4.Description:description#可选，描述，描述参数的用途 5.AssociationProperty:ALIYUN:ECS:Instance:InstanceType#可选，控制台参数输 入 框 会 变 为 下 拉 框，并 展 示 出 该 地 域 下 可 选 择 的 参 数。如 值 为 文档版本：20191122 6 弹性计算OOS审批流程自动化运维 OOS简介 'ALIYUN:ECS:Instance:...
实时监控应用关键业务异常与告警
使用日志服务（SLS）基于收集的业务日志对业务实现监控与告警，能够帮助您了解应用的运行趋势，及时发现业务异常状态，采用具体措施以保证系统稳定性。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读日志监控的重要性与业务价值如何实现日志监控与传统方案对比应用场景方案部署方案权益实时可观测，即时应对风险为了保障业务稳定性、提升客户满意度，运维监控告警与故障定位（运维）、检测与防范安全威胁（安全）、业务数据分析...
来自：
解决方案
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
步骤2 查看应用链路拓扑，可以看到业务完整链路拓扑，同时可以看到此链路的请求数，响 应时间，错误数等核心指标信息 文档版本：20240329 34容器场景下的应用性能监控、调用链拓扑、内存剖析 场景验证 5.2.调用链性能分析 步骤1 选择调用链分析，点击traceid，可以看到这个trace下面的详细链路调用及耗时，点击 ➕加号，...
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
解决问题 快速完成springCloud微服务应用的部署、监控与测 试。产品列表 专有网络VPC 弹性公网IPEIP 负载均衡CLB 微服务引擎MSE注册配置中心 无服务应用引擎SAE 最佳实践频道 http://bp.aliyun.com 应用监控服务ARMS 微服务引擎MSE用户交流群 钉钉搜索钉群号43525005207入群 性能测试工具PTS 阿里云...
- 产品推荐
- 这些文档可能帮助您