自建ELK迁移阿里云日志服务
场景描述 ELK Stack（Elastic/Logstash/Kibana） 通常 被用于日志实时分析， 在开源社区中有大量 的内容和使用案例。 本文介绍如何将自建的 ELK 系统迁移到阿里云 SLS 日志服务。 解决问题 1. 自建 ELK 如何迁移到阿里云日志服务。 2. 如何使用 Logtail 采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、 分析。 产品列表 阿里云日志服务（SLS） VPN 网关 IPSec VPN 云服务器
文档版本：20240422 15自建ELK迁移阿里云日志服务（SLS）搭建ELK环境 步骤2 首次进入会提示创建索引，点击Createindexpattern，输入Logstash采集配置里设 置的nginx-logstash-index，并选择Timestampfield 文档版本：20240422 16自建ELK迁移阿里云日志服务（SLS）搭建ELK环境 文档版本：20240422 17自建ELK迁移阿里云日志...
阿里云日志服务SLS多云统一日志方案之腾讯云日志采集最佳实践
使用日志服务SLS统一采集、存储、查询和分析阿里云、腾讯云等不同云厂商上的业务日志、系统日志和云产品日志，实现在一个平台上管理多云架构下的所有日志。
阿里云日志服务 SLS 多云统一日志方案 之腾讯云日志采集 最佳实践 文档版本：20240422（发布日期）阿里云SLS多云统一日志方案之腾讯云日志采集最佳实践 文档版本信息 文档版本信息 文档信息 属性 内容 文档名称 阿里云日志服务 SLS多云统一日志方案之腾讯云日志采集 文档编号 383 文档版本 V1.0 版本日期 2024-04-22 文档...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
详见：https://www.aliyun.com/product/sls DataHub：数据总线(DataHub)服务是阿里云提供的流式数据(StreamingData)服 务，它提供流式数据的发布(Publish)和订阅(Subscribe)的功能，让您可以轻松构 建基于流式数据的分析和应用。详见：https://www.aliyun.com/product/datahub Maxcompute：大数据计算服务(MaxCompute...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
阿里云最佳实践容器workshop
通过本篇最佳实践，可以熟悉容器及k8s的基本操作。基于eci的高弹性架构，能有效的应对业务流量洪峰，同时提升资源使用效率。
本例使用阿 里云提供的容器镜像服务。文档版本：20220301（发布日期）21 阿里云ACK容器服务workshop Docker实践 2.7.1.创建命名空间 步骤1 登录阿里云容器镜像服务控制台。（https://cr.console.aliyun.com/）步骤2 设置 Registry登录密码。文档版本：20220301（发布日期）22 阿里云ACK容器服务workshop Docker实践 步骤3 ...
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
更多阿里云大数据.MaxCompute 资源抵扣包套餐（500CU*H+100GB存储）仅售 59元/年.MaxCompute 资源抵扣包套餐（500CU*H+100GB存储）仅售 59元/年.迁移到 MaxCompute.基于 MaxCompute 构建数仓，在初期只有一名开发人员的情况下，也能快速地搭建起数仓系统，且费用成本极低.MaxCompute 将原本需要清算8小时的用户交易数据缩短...
来自：
云产品
专有网络 VPC
阿里云专有网络VPC（Virtual Private Cloud），是由虚拟网络设备（如虚拟交换机/虚拟路由器）组成的虚拟专有网络服务，帮助您基于阿里云构建一个逻辑隔离的私有云。您可以通过专线/VPN等方式与传统数据中心连接，组成一个按需定制的免费虚拟专有网络环境，实现应用的平滑迁移上云。
基于阿里云VPC搭建多个应用，各应用都需要对外提供服务，且其波峰时间点不一致，希望多IP共享带宽，尽量减小波峰波谷效应从而降低成本.提供端口映射和IP映射，VPC ECS可对外提供服务.对外提供服务.支持多台 VPC ECS 共享公网带宽，优化成本.NAT网关提供大带宽吞吐与高连接数.负载均衡SLB.云服务器ECS.推荐配套使用.对外提供...
来自：
云产品
Cloud Toolkit阿里云开发者插件工具
Cloud Toolkit - 阿里云集开发、测试、诊断、部署为一体的免费本地多IDE插件，帮助开发者真正实现任意服务器或 ECS、EDAS、Kubernetes、SAE、函数计算等一键式研发部署，支持Java规约、高效执行终端命令和 SQL等常见工具，研发速度提升8倍以上，大幅降低研发成本。
在 IDE 内，开发者可以方便浏览阿里云 SLS 日志，在运维时无需在 IDE 和浏览器之间频繁切换.查看 SLS 日志.手把手完成插件安装.全面详细地了解 Cloud Toolkit.从视频教程开始快速上手.可能碰到的常见问题，都在这里.适用于 IntelliJ Platform 上各 IDE 安装.IntelliJ IDEA 等系列平台.适用于 Eclipse Platform 上各 IDE ...
来自：
云产品
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
应用场景 客户在阿里云不同region、阿里云以外的其他 云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）、或者IDC 等业务数据或应 用系统产品的日志数据等，汇总处理后，通过 标准的通用的协议Kafka，数据入湖到阿里云 SLS日志中心，进行统一分析和处理。解决问题 将多云、IDC分散的数据，通过标准协议，汇 产品...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
产品列表 最佳实践频道 Function Compute 服务 文件存储 NAS 对象存储 OSS 函数工作流 FnF 日志服务 SLS 阿里云最佳实践分享群 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 Function Compute实现弹性音视频处理系统 最佳实践 文档版本：20201228...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
日志服务SLS 阿里云最佳实践分享群 云速搭CADT 钉钉搜索钉群号31852400入群 微服务引擎MSE用户交流群 钉钉搜索钉群号43525005207入群云服务器ECS（产品名称）文档模板（手册名称）/文档版本信息 基于湖仓一体架构使用MaxCompute对OSS湖 数据分析预测最佳实践 II 文档版本：20150122（发布日期）文档版本：20240417...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
VPC 阿里云交换机 解决问题 阿里云安全组•快速搭建起数据处理全链路 阿里云函数计算(FC)•全链路自适应弹性，无需为流量峰谷做频繁 对象存储 OSS 的手工处理 阿里云云消息队列 Kafka 版•内置 CICD平台能力，灰度，回滚，监控开箱 云速搭 CADT 即用•按量付费，没有资源闲置费用 最佳实 践频道 http://bp.aliyun.com...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 最佳实践 场景描述 业务架构 基于阿里云 Kafka 消息的 Key 或者消息体里的内 容做判断，然后对 MongoDB 做增，删，改的操 作。在传统 ETL 流程的基础上进一步增加了灵活 性和可扩展性。应用场景 在大数据 ETL 场景，将 Kafka 中的消息流转到其 他下游服务...
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
应用场景 自建ELK日志系统的客户迁移到阿里云日志服 务SLS后，对SLS查询分析语法不太熟悉的客 户，可以继续沿用原有的查询分析习惯，在不改 变使用方式习惯的情况下，通过Elasticsearch 兼容接口的方式使用Kibana访问SLS。解决问题 如何使用ACK部署Wordpress应用，并使 用SLS采集容器日志到SLS 最大程度保障Elastic...
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，当应用出现业务异常问题时，您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析，精准定位业务异常。
阿里云最佳实践分享群 钉钉搜索钉群号 31852400入群 微服务引擎MSE用户交流群 钉钉搜索钉群号 43525005207入群 可观测链路 OpenTelemetry 版结合日志服务 SLS关联分析 最佳实践 文档版本：20240428（发布日期）可观测链路 OpenTelemetry 版结合日志服务 SLS最佳实践 文档版本信息 文档版本信息 文档信息 属性 内容 文档名称...
智能应对流量变化，容器化集群的弹性攻略
本方案使用ALB和ACK智能分配网络流量，提高应用的高可用性和吞吐量，使用Kubernetes的cluster-autoscaler社区开源组件以及HPA内置组件进行弹性伸缩，提升资源利用率。
方案部署01部署准备包括准备阿里云账号、创建基础网络资源、创建日志服务SLS和安装压测工具。02配置ACK集群使用阿里云ACK产品创建ACK托管版集群，并配置监控插件和kubectl命令。03配置应用创建ALB实例，并通过Alb Ingress与ACK集群进行关联，同时部署Nginx示例应用，部署应用服务。04配置弹性伸缩配置节点池弹性伸缩和HPA...
来自：
解决方案
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
如果想要查看代码的详细运行日志，需要在 TAB 页 中切换到“调用日志”并点击“一键启用”，后续新的请求就能看到代码的详细运行日志，感兴趣的可以开启体验，会涉及一部分日志费用（集成的阿里云日志服务 SLS），本次实 操略过该步骤。文档版本：20240422 27 基于函数计算实现自定义直播-拉流-录制-存储-通知 环境搭建 ...
通义灵码助力函数计算FC实现函数编写
现在社会软件开发的复杂性不断增加，服务器配置和运维管理更复杂、开发效率变低。函数计算FC采用无服务器计算模式，用户只需要关注业务逻辑的实现，无需关心底层的服务器配置和运维管理，从而大大降低了运维成本和复杂性，而且具有弹性伸缩、快速部署、按需使用按量付费的特点。通义灵码是阿里云出品的一款基于通义大模型的智能编码辅助工具，可以帮助开发者快速编写高质量的代码，为开发者提供了强大的编程辅助功能。两者的结合让开发者可以更高效地编写函数代码，简化部署流程，提高开发效率。
通义灵码公测交流•按量付费模式，没有资源闲置费用 钉钉搜索群号53770000738入群 函数计算 FC用户交流群•代码辅助编写 钉钉搜索钉群号11721331入群 阿里云最佳实践分享群 产品列表 钉钉搜索钉群号31852400入群 阿里云函数计算(FC) 通义灵码通义灵码助力函数计算FC 实现函数编写 最佳实践 文档版本：20240513通义灵码...
跨阿里云账号采集日志
跨阿里云账号采集日志可以实现多个账号间的日志共享和集中管理，降低了管理成本和风险，提高了日志数据的安全性和可靠性。同时，跨账号日志采集还可以满足多租户场景下的日志管理需求，提高了系统的可扩展性。
02部署资源按照要求部署ECS服务器、日志服务SLS及容器服务ACK集群。03跨账号采集日志支持通过Logtail采集ECS日志和容器服务ACK日志。04完成及清理提供验证方案是否部署成功的步骤。一键部署手动部署方案权益优惠购买免费试用询价中.加入购物车立即购买询价中.加入购物车立即购买询价中.加入购物车立即购买解决方案推荐视频...
来自：
解决方案
- 产品推荐
- 这些文档可能帮助您