云上一体化服务选择 针对运维和SRE团队工作中的监控分析平台需求，以及平台搭建过程中遇到的种种问题，阿里云日志服务团队希望在云上提供一套简单易用、稳定可靠、高性能而又具有良好性价比的解决方案，以支持运维和SRE团队更高效地工作。...
本文介绍日志服务Logtail的发布历史。1.8.7 发布时间：2024.03.05 新功能 Logtail-ds组件在ACK场景下支持资源组配置。拓展插件新增 processor_rate_limit 插件。修复 修复Logtail使用历史数据采集之后进程无法优雅退出的问题。1.8.6 发布...
传统软件领域的嵌入式开发模式在IoT设备领域的应用遇到了很多挑战，IoT设备数目多、分布广，难以调试且硬件受限，传统的设备日志解决方案无法完美满足需求。日志服务团队结合IoT设备的特点，为IoT设备量身定制一套日志数据采集方案：C ...
当写入耗时超过指定阈值时，将在慢写入日志中打印相关信息。慢写入阈值已在场景化模板的索引模板中配置，默认情况下已是最优，只需一键应用即可，详细信息请参见 索引模板配置。当您的业务出现写入耗时久的情况时，可查看Indexing慢日志...
此处以写入日志为例进行说明，示例代码如下所示：PutLogsRequest putLogsReqError=new PutLogsRequest();putLogsReqError.Project=my-project;Project名称。putLogsReqError.Topic="topic;日志主题。putLogsReqError.Logstore=my-logstore;...
简介 流日志捕获的流量信息以日志形式写入日志服务中。每条流日志记录会捕获特定捕获窗口中的特定五元组网络流。在捕获窗口内，流日志服务会先聚合数据，然后再发布流日志记录。资产详情 自定义的日志服务Project、Logstore 重要 请勿删除...
本文介绍使用C Producer SDK的基本操作。日志服务C Producer是用纯C编写的日志采集客户端，提供更加精简的环境依赖以及更低的资源占用，适用于各类嵌入式/智能设备的日志采集。功能特性 异步 异步写入，客户端线程无阻塞。聚合&压缩上传 ...
本文介绍日志服务每次发布涉及的功能变更及对应的文档，帮助您了解日志服务的发布动态。2024年3月 功能名称 功能描述 支持地域 相关文档 字段分析 SLS（Simple Log Service）具备字段分析功能，专注于对text、long和double类型字段的统计...
您可以在日志服务控制台实时查询所采集到的日志，并将日志投递到MaxCompute，进行进一步的BI分析及数据挖掘。本文介绍通过日志服务投递日志到MaxCompute的操作步骤。前提条件 已开通MaxCompute，并创建表。更多信息，请参见 创建表。使用...
存在多种方式可以将日志服务SLS的数据写入至Hologres，本文以Flink、DataWorks数据集成为例，为您介绍如何将SLS数据实时写入至Hologres。前提条件 开通SLS服务并创建Project和Logstore，详情请参见 快速入门。开通Hologres服务并连接至开发...
本文档为您介绍如何通过WebTracking采集日志数据到日志服务中，并对采集到的日志数据进行查询和分析。背景信息 当发送重要邮件时为了确认对方已读，都会在邮件中设置 读取回执 标签，可以在对方已读时收到提醒信息。读取回执这种模式用途很...
consumer-group-1 fallbehind 当前消费位置距离最新写入日志的落后时间，单位：秒。12345 logstore Logstore名称。logstore-1 project Project名称。project-1 shard 消费的Shard ID。1 Logtail告警日志 字段 说明 示例 alarm_count 时间...
本文以Nginx为例，介绍配置正向代理服务器以及通过代理模式将企业内网服务器日志采集到日志服务的解决方案。前提条件 已创建Project和Logstore。具体操作，请参见 创建项目Project 和 创建Logstore。已在服务器上安装Linux Logtail 1.5.0及...
相关文档 在调用API接口过程中，若服务端返回结果中包含错误信息，则表示调用API接口失败。您可以参考API错误码对照表查找对应的解决方法。更多信息，请参见 API错误处理对照表。阿里云OpenAPI开发者门户提供调试、SDK、示例和配套文档。...
流日志功能捕获的流量信息以日志方式写入日志服务中。每条日志会捕获特定捕获窗口中的特定五元组网络流量，捕获窗口大约为10分钟，该段时间内流日志功能先聚合数据，再发布日志。如果您选择为VPC或交换机创建流日志，则会捕获VPC和交换机中...
中心化的日志处理方案有效地解决了在完整生命周期内对日志的消费需求，而日志从设备采集上云是始于足下的第一步。三款日志采集工具 Logstash 开源界ELK stack中的”L”，社区活跃，生态圈提供大量插件支持。Logstash基于JRuby实现，可以跨...
在Visual Studio中，右击选择 解决方案，在弹出的菜单中单击 添加现有项目。在弹出的对话框中选择 SLSSDK40.csproj 文件，单击 打开。右击项目名称，选择 引用>添加引用，在弹出的对话框中选择 项目选项卡，选中SLSSDK40项目，单击 确定。...
解决方案 将 res_oss_file 函数加工编排中的AccessKey信息修改正确即可。Bucket权限错误。使用 res_oss_file 函数的时候bucket出错。加工规则样例 e_set("oss_file",res_oss_file(endpoint='http://oss-cn-hangzhou.aliyuncs.com',ak_id=os...
Windows（64位操作系统）Logtail（64位程序）C:\Program Files\Alibaba\Logtail\logtail_*.log Logtail（32位程序）C:\Program Files(x86)\Alibaba\Logtail\logtail_*.log 说明 Windows 64位操作系统支持运行32/64位应用程序，但是出于兼容...
解决方案日志包括实例化详情、创建日志、实例化日志和导入日志等，通过查看日志，方便定位操作中遇到的问题。本文介绍如何查看解决方案日志。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 ...
您可以指定采集日志写入的文件，如 app.LOG，Logtail会自动检测到日志轮转过程，保证这个过程中不会丢失日志数据。多种采集输入源 Logtail除支持采集文本日志外，还支持syslog、http、MySQL binlog等数据源。更多信息，请参见 数据采集概述...
运行环境复杂：程序运行在不同的环境中，产生的日志也保存在不同的环境中，例如应用相关的日志在容器中、API相关日志在FunctionCompute中、旧系统日志在本地IDC中、移动端相关日志在用户处、网页端日志在浏览器中等。为了能够获得全量日志...
SEND_QUOTA_EXCEED_ALARM 日志写入流量超出限制。在控制台上增加Shard数量。更多信息，请参见 分裂Shard。READ_LOG_DELAY_ALARM 日志采集进度落后于日志产生进度，一般是由于配置Logtail使用的CPU资源不够或是网络发送流控导致。修改CPU...
您可以通过Logtail插件采集Windows事件日志。本文介绍如何通过日志服务控制台创建Logtail配置采集Windows事件日志。前提条件 已在服务器上安装Windows Logtail 1.0.0.0及以上版本。具体操作，请参见 安装Logtail（Windows系统）。目标...
阿里云 日志服务 兼容Kafka消费组协议，您可以使用原生Kafka客户端对 日志服务 进行读操作。概念映射 Kafka 日志服务 描述 Topic Logstore Topic：Kafka用来区分不同类型信息的主题。Logstore：日志服务 中日志的采集、存储和查询单元。...
本文介绍如何快速使用日志服务Android SDK采集日志。前提条件 已安装Android SDK。具体操作，请参见 安装Android SDK。快速使用 您可以按照以下方式初始化SDK，并通过调用 addLog 方法上报日志。重要 SDK支持初始化多个实例，...
如果加工规则中涉及RDS资源的加载，则有可能会产生资源的加载或刷新错误。本文介绍从RDS MySQL获取数据出错的原因以及排查处理方法。在成功读取源Logstore数据后，加工引擎开始对源Logstore的日志事件进行加工。如果加工规则中涉及OSS、RDS...
背景信息 日志服务数据加工功能支持将加工结果分发到多个目标Logstore中。您可以在保存数据加工结果时，设置不同账号的AccessKey信息，将加工结果分发到不同账号的Logstore中；您也可以使用e_output函数、e_coutput函数动态获取目标Project...
日志服务 支持通过Logstash消费数据，您可以通过配置 日志服务 的Input插件对接Logstash获取 日志服务 中的数据并写入到其他系统中，例如Kafka、HDFS等。功能特性 分布式协同消费：可配置多台服务器同时消费某一个Logstore。高性能：基于...
本文介绍通过OpenTelemetry.NET SDK将C#应用的Trace数据接入到日志服务的操作步骤。前提条件 已创建Trace实例。更多信息，请参见 创建Trace实例。已安装.NET Framework开发环境。说明 本文中的接入方式支持除.NET Framework 3.5 SP1外的...
本文介绍如何快速使用日志服务iOS SDK采集日志数据。前提条件 已安装iOS SDK。具体操作，请参见 安装iOS SDK。快速使用 您可以按照以下方式对SDK进行初始化，并同调用 addLog 方法上报日志。重要 iOS SDK支持初始化多个实例，...
C SDK Android Android SDK概述 Log Service Android SDK C++ C++ SDK概述 Log Service C++ SDK 调用示例 具体调用示例参考 Python SDK调用日志服务ListProject接口查询Project信息。常见问题 日志服务SDK都支持哪些功能？日志服务SDK已经...
阿里云DDoS高防（新BGP）、DDoS高防（国际）联合日志服务推出全量日志分析功能，提供网站访问日志、CC攻击日志的实时采集、查询、分析、加工、消费等一站式服务，帮助您排查网站访问异常、追踪CC攻击者来源、分析网站运营情况等。...
如果目标主机是Windows系统，则日志路径必须以盘符开头，例如 C:\Program Files\Intel\*\*.Log。目录名和文件名均支持完整模式和通配符模式，文件名规则请参见 Wildcard matching。其中，日志路径通配符只支持星号（*）和半角问号?日志文件...
数据加工主要解决您规整数据的痛点以及帮助您进一步挖掘数据的价值，降低时间与人力成本。合理配置可以节约一定的成本，本文档介绍如何以较优的成本方式使用数据加工功能。典型配置 根据 加工原理 和 性能指南，推荐您简化采集方案，使用...
开发人员可以使用.NET、.NET Core、Java、Python、PHP、Node.js、C、GO、IOS、Android、C++等语言的SDK采集、查询和分析日志等。使用前须知 不同语言的日志服务SDK具体实现细节会有所不同，但是它们都是日志服务API在不同语言上的封装，...
完成日志采集后，您可以调用GetLogs接口查询采集到的日志。本文介绍GetLogs接口的典型使用示例。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_...
例如设置 环境变量名 为 app，设置 扩展字段名 为 k8s_label_app，当Kubernetes中包含Label app=serviceA 时，会将该信息添加到日志中，即添加字段_tag_:_k8s_label_app_:serviceA。高级参数 参数 说明 日志最大长度（字节）日志最大长度，...
Logtail配置是Logtail采集日志的策略集合。通过在创建Logtail配置时设置数据源、采集模式等参数，实现定制化的采集策略。本文介绍API模式下Logtail配置相关的参数说明。Logtail配置基础参数说明 参数名称 数据类型 是否必填 示例值 描述 ...
现在日志服务LogHub功能可以代替这类架构，并提供稳定、低成本、弹性、安全的解决方案。应用场景 公网数据采集包含移动端、外部服务器、网页和设备数据的采集，采集完成后需要进行实时计算、数据仓库等数据应用。方案1：前端服务器+Kafka ...