通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
Stdout:true Stderr:true#设 置 环 境 变 量 黑 名 单，采 集 除 环 境 变 量 为 COLLECT_STDOUT_FLAG=false之外的所有容器的标准输出。ExcludeEnv:文档版本：20240418 30基于MSE云原生网关同城多活最佳实践 释放环境 COLLECT_STDOUT_FLAG:"false"步骤7 将上述内容复制到YAML文件里面如下图所示 点击创建按钮 步骤8 登录SLS...
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
微服务引擎MSE：微服务引擎 MSE 面向业界主流开源微服务项目，提供注 册配置中心和分布式协调（原生支持 Nacos/ZooKeeper/Eureka）、云原生网 关（原生支持Higress/Nginx/Envoy，遵循Ingress 标准）、微服务治理和分布 式任务调度能力（兼容开源XXL-JOB/ElasticJob/K8sJob/SpringSchedule）。 Serverless应用引擎 SAE...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
文档版本：20210224 65 游戏数据运营融合分析 部署 ECS-SLS数据采集 步骤6 配置 logtail进行日志数据采集，这里主要是需要正确配置日志文件的路径名称（若 未调整默认为/root/domain.log），如下图所示：步骤7 查询分析配置，本步骤配置 SLS自身的分析功能，本文未用到该功能，保留默认的 全文索引配置，单击下一步即可。...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
作为阿里巴巴数据中台的建设者，互联网电商行业离线大数据分析 最佳实践概述 DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论，同时与数万名政务/金融/零售/互联网/能源/制造等客户携手，助力产业数字化升级。 云原生大数据计算服务 MaxCompute：是面向分析的企业级 SaaS 模式云数据仓库，以 Serverless 架构提供...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
一站式提供数据采集、加工、分析、告警可视 化与投递功能，全面提升研发、运维、运营和安全等场景数字化能力。更多信息，请参见：www.aliyun.com/product/sls Tracing Analysis： 链路追踪 Tracing Analysis为分布式应用的开发者提供了完整 的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开 发者...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
结论：云数据库 ClickHouse更加适合海量数据分析型业务、大宽表聚合查询分析、数 据 Hash对齐 Join场景、实时日志分析场景等等 文档版本：20201224 6 基于 Flink+ClickHouse构建实时游戏数据分析 架构设计 2.架构设计 2.1.架构图 本实践主要以流处理为主线，搭建实验环境，构建在线用户行为分析平台：2.2.核心模块 游戏服...
Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库（Oracle兼容 版）。通过ADAM将Oracle数据库迁移到 PolarDB数据库，可以降低应用升级、运 维成本，同时提升系统弹性，实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云， 通过ADAM评估迁移工具，降低迁移 风险，提高迁移效率。 2.使用PolarDB（Oracle兼容版）数据 库，提升数据库并发读能力，降低运维 成本。 产品列表 数据库和应用迁移（ADAM） PolarDB（Oracle兼容版） 云服务器（ECS） 专有网络（VPC）
方案优势 将 Oracle数据库迁移到阿里云 PolarDB数据库降低运维成本，方便扩展，满足数 文档版本：20220210 1 Oracle数据库与应用迁移 PolarDB 最佳实践概述 据库弹性需求。迁移过程中采用 ADAM评估分析工具，在迁移前就对数据和应用改造的工作量和 风险完全掌握，便于决策并有效降低实施风险。迁移过程中通过专业工具，自动...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
IP2Region.java 通过 NAT 网 关 配 置 SNAT 访 问 公 网 服 务 http://whois.pconline.com.cn/ipJson.jsp?json=true&ip={ip}获取地理位置信息。本方式 仅演示外网访问和自定义函数 UDX，不适合生产环境使用。public class IP2Region extends TableFunction>{ private String urlPrefix=...
物联网平台
物联网平台提供全托管的企业级实例服务，具有低成本、高可靠、高性能、高安全的优势，无需自建物联网基础设施即可接入各种主流协议设备，管理运维亿级规模设备，存储备份和处理分析EB量级的设备数据，帮助企业快速实现设备数据和应用数据的融合，实现设备智能化升级。
物联网平台保障了智能水表数据采集、存储和识别计算的快速与稳定.通过车机数据分析对驾驶员做个性化推荐，提升摩托车周边用品销量.平台提供设备管理、OTA升级、物模型等能力，降低研发投入.高安全高稳定的支撑近百万设备运行，大幅降低运维成本.稳定支撑每天数亿条消息通信，助力业务覆盖34个省，4000万用户.云摄像机的在线...
来自：
云产品
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
注：1）NAT网关配置的公网 IP数限制 NAT网关的最大并发数，绑定单个 IP最大 连接数为 55000，当通过 NAT网关访问公网上同一个目的 IP和端口的带宽大于 2Gbps时，建议您为 NAT网 关绑定 4-8个公网 IP并构建 SNAT IP池，避免单 IP的端口数量限制可能产生的丢包 2）当有多个 EIP组成 SANT IP池时，如需节约带宽成本可以建议多 ...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
文档版本：20211213 1 基于 MaxCompute的大数据 BI分析 最佳实践概述 方案优势 以 Hologres+QuickBI快速实时数据分析的核心能力为切入点，将客户的业务数 据、日志数据引导至阿里云的日志服务和分析性数据库。融合阿里云的日志服务 SLS 的生态，增强用户体验(如无缝对接 Flink、Elasticsearch、RDS、Hologres、EMR、dataV ...
混合云多云统一安全
场景描述 有些客户的业务系统部分上云、或者还没上 云，但想使用阿里云公共云的安全服务；或 者业务系统部署在多个云平台上，想使用阿 里云的安全来提供统一服务。 解决问题 1.通过阿里云的安全产品和服务，统一管理阿 里云、IDC和它云的资产； 2.满足混合云、多云的等保需求。 产品列表 云安全中心 堡垒机 数据库审计 高防IP Web应用防火墙 证书服务 日志服务 VPN网关
本实践为规划的某云平台 VPC 网段：172.16.0.0/24 高级配置 打开高级配置开关 IKE配置 预共享密钥 用于 IPsec VPN网关与用户网关之间的身份认 证。默认情况下会随机生成，也可以手动指定密 钥。版本 ikev1 协商模式 main 加密算法 aes256 认证算法 sha1 文档版本：20200630 13 混合云多云统一安全 自建虚拟机网络和测试 DH...
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型，阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
同时日志 服务还一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功 能，全面提升您在研发、运维、运营、安全等场景的数字化能力。详见：https://www.aliyun.com/product/sls 容器服务(ACK)：提供高性能可伸缩的容器应用管理能力，支持企业级 Kubernetes 容器化应用的全生命周期管理。容器服务 ...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
一站式提供数据采集、加工、分析、告警可视化与投递功能，全面提升研发、运维、运营和安全等场景数字化能力。详 见：https://www.aliyun.com/product/sls 抢占式实例 Spot：不是一种实例类型，而是一种付费方式，旨在为您降低部分场 景下使用 ECS实例的成本。如果使用得当，相对于按量付费实例，有较深的折扣 文档版本：...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
NAT 网关与共享带宽包配合使用，可以组合成为高性能、配置灵活的企业级网关。详 见：https://www.aliyun.com/product/nat 弹性公网 IP（Elastic IP Address）：是可以独立购买和持有的公网 IP地址资源。目前，EIP可绑定到专有网络类型的 ECS实例、专有网络类型的私网 SLB实例、专有网络类型的辅助弹性网卡、NAT 网关和高...
SpringCloud应用托管到ACK服务
场景描述 本实践适用于将SpringCloud应用托管到 ACK服务的场景中，创建容器服务ACK后， 利用Helm一键部署SpringCloud应用，将 SpringCloud应用托管到容器服务ACK。 解决问题 1.将SpringCloud应用托管到容器服务 ACK 产品列表 容器服务ACK 云服务器ECS
本节采用云架构设计工具 CADT快速构建云上大数据采集系统的环境。注意：在使用 CADT部署资源之前，需要在控制台开通所用到的服务。2.1.登录 CADT控制台 通 过 下 图 所 示 方 式 登 录，或 者 访 问 链 接 直 接 登 录 均 可。（https://bpstudio.console.aliyun.com）步骤1 在 CADT主页面，单击新建>官方模板库新建。7 ...
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
常用 API:.86 文档版本：20200703（发布日期）IV 金融行业从经典网络向VPC容器化改造最佳实践 最佳实践概述 最佳实践概述 1、经典网络部署容器环境(打包应用制作镜像Push镜像)2、通过ClassicLink与VPC互通 3、从经典网络向VPC传输数据 4、在创建的K8S专有集群发布应用 5、初始化应用配置RDS链接 6、打包发布新版本镜像与...
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受，对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量，因此对于系统的稳定性非常关注，结合阿里云的容器服务、链路追踪、弹性容器ECI等产品，帮助客户业务实现容器化改造，并且方便发现系统应用架构中的瓶颈等问题，实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ￚ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ￚ 运维研发效率提高，链路追踪服务端全托管，免运维。 ￚ 链路追踪的应用调用链分析能力结合ECI高弹性能力，提升应用系统在洪峰流量冲击下的稳定性。 ￚ 链路追踪接入方便，ECI POD弹性伸缩，节省用户运维成本和云资源使用成本。 ￚ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩，更丰富的云原生弹性能力。
用户无需开发就能快捷完成日志数 据采集、消费、投递以及查询分析等功能，提升运维、运营效率，建立 DT时代 海量日志处理能力。更多信息，请参见 https://www.aliyun.com/product/sls 文档版本：20201222 IV 基于链路追踪+ECI的洪峰流量应对实践 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.V 最佳实践概述.1 前置...
- 产品推荐
- 这些文档可能帮助您