费用和两方面因素相关：数据量：用户的数据量是业务决定的，无法优化。配置：使用和数据量相匹配的配置，选择最优的解决方案，才能使成本最小化。优化配置 配置可以从以下两个方面进行优化：分区个数 一个分区最大可以处理5M/s的数据。只有...
阿里云日志服务与全站加速DCDN联合推出日志功能，支持近实时采集DCDN实时日志。日志服务提供实时查询、可视化分析、告警、投递、加工等一站式服务。本文介绍DCDN实时日志相关的功能介绍、资产详情、费用说明及使用限制。功能介绍 您的业务...
日志服务采集到日志数据后，您可以通过运行Spark Streaming任务消费日志数据。日志服务提供的Spark SDK实现了Receiver模式和Direct模式两种消费模式。Maven依赖如下：<dependency><groupId>...
日志服务支持通过aliyun-log-flume插件与Flume进行对接，实现日志数据的写入和消费。背景信息 aliyun-log-flume是一个实现日志服务与Flume对接的插件，与Flume对接后，日志服务可以通过Flume与其它数据系统如HDFS、Kafka等对接。aliyun-log...
数据库表和日志样例 SQL Server数据库表结构样例和Logtail采集到的日志样例如下所示。表结构样例 IF NOT EXISTS(SELECT*FROM sys.databases WHERE name='LogtailTest')BEGIN CREATE DATABASE[LogtailTest]END GO USE[LogtailTest]GO IF NOT...
日志服务提供日志消费和查询功能，都均为对日志数据的读操作。日志消费 全量数据顺序（FIFO）读写，提供类似Kafka的功能。每个LogStore有一个或多个Shard，数据写入时，随机落到某一个Shard中。可以从指定Shard中，按照日志写入Shard的顺序...
源日志库 当 日志库类型 设置为 日志库 时，需设置 源日志库，设置为您的源数据所在的日志库。时序库 当 日志库类型 设置为 时序库 时，需设置 时序库，设置为您的源数据所在的时序库。角色 如果您在创建实例时已完成了授权，则此处自动...
接收压缩数据 日志服务的PullLogs接口可返回lz4压缩格式数据。使用方法：通过在请求头中设置 Accept-Encoding:lz4，服务端将会返回lz4压缩数据。返回的请求头中 x-log-bodyrawsize 标识了请求体的压缩前的原始大小，可作为解压参数使用。...
base_retry_back_off=1,max_retry_back_off=60,primary_keys=None,use_ssl=false,update_time_key=None,deleted_flag_key=None)说明 日志服务还支持通过res_rds_mysql函数从AnalyticDB MySQL数据库、PolarDB MySQL数据库拉取数据，您只需将...
哈啰出行通过把日志数据迁移到日志服务，替代原有的Kafka、ES、ClickHouse，累积节省成本30%，同时满足了稳定性、扩展性以及日志查询与分析的需求。公司简介 哈啰出行是本地出行及生活服务平台，致力于应用数字技术的红利，为人们提供更...
源日志库 当 日志库类型 设置为 日志库 时，需设置 源日志库，设置为您的源数据所在的日志库。时序库 当 日志库类型 设置为 时序库 时，需设置 时序库，设置为您的源数据所在的时序库。角色 如果您在创建实例时已完成了授权，则此处自动...
日志服务联合云数据库PolarDB推出CloudLens for PolarDB，用于集中管理PolarDB MySQL集群以及采集PolarDB MySQL集群的慢查询日志、错误日志、审计日志和性能指标。本文介绍CloudLens for PolarDB的功能、资产、费用、使用限制等信息。产品...
数据库表和日志样例 PostgreSQL数据库表结构样例和Logtail采集到的日志样例如下所示。表结构样例/创建表。CREATE TABLE IF NOT EXISTS specialalarmtest(id BIGSERIAL NOT NULL,time TIMESTAMP NOT NULL,alarmtype varchar(64)NOT NULL,ip ...
阿里云消息服务（MNS）日志推送到日志服务后，可进行实时查询，本文介绍实时查询的常用场景及操作步骤，您也可以通过多个关键字组合方式实现更加复杂的查询。前提条件 已采集到MNS日志。具体操作，请参见 MNS日志。已配置索引。具体操作，...
Web应用防火墙（WAF）日志服务帮助您采集并存储WAF防护对象（云产品实例、域名）的Web访问及攻击防护日志，并基于阿里云日志服务，输出查询分析、统计图表、报警服务、下游计算对接与投递等能力，帮助您专注于分析，远离琐碎的查询和整理...
日志服务能够提供各种异构数据提取、聚合、可视化、告警、AI异常检测等功能，满足《原神》实际业务场景下需要采集分析包括业务服务监控日志，云产品运行及审计日志，游戏运营指标等多种维度数据需求。在数据采集方面，日志服务支持客户端、...
源日志库 当 日志库类型 设置为 日志库 时，需选择目标源日志库，即设置为您的多维指标数据所在的日志库。时序库 当 日志库类型 设置为 时序库 时，需选择目标时序库，即设置为您的多维指标数据所在的时序库。时间 源数据中表示时间列的...
概述 日志服务不支持直接关闭，若您不再需要使用日志服务，可以通过删除所有数据，将不会再产生不必要的计费。本文主要介绍如何不再使用日志服务。详细信息 请删除所有Project和Logstore以清除所有的日志数据，具体操作请参见 日志服务如何...
阿里云云命令行Cloud Shell已经集成日志服务CLI，您无需部署配置，可以直接通过Cloud Shell管理日志服务资源和下载日志服务数据。什么是Cloud Shell？Cloud Shell允许您通过命令行管理阿里云资源。通过浏览器启动Cloud Shell时，Cloud ...
阿里云日志服务联合云安全中心联合推出日志分析功能，提供风险威胁数据的实时采集、查询与分析、加工、消费等一站式服务，帮助您全面了解、有效处理服务器的安全隐患，实现对云上资产的集中安全管理。本文介绍云安全中心日志分析功能相关的...
Flink Log Consumer用到的日志服务API接口如下：GetCursorOrData 用于从Shard中获取数据，注意频繁的调用该接口可能会导致数据超过日志服务的Shard限额，可以通过 ConfigConstants.LOG_FETCH_DATA_INTERVAL_MILLIS 和 ConfigConstants.LOG_...
本文介绍云数据库RDS SQL审计日志、慢日志、错误日志和性能日志的字段详情。审计日志 日志字段 说明_topic_日志主题，固定为rds_audit_log。owner_id 阿里云账号ID region RDS实例所在地域 instance_name RDS实例名 instance_id RDS实例ID ...
Web应用防火墙（Web Application Firewall，简称WAF）日志服务通过阿里云日志服务实时地采集已接入WAF防护的网站业务的全量日志，并对采集到的日志数据进行查询与分析，以丰富的仪表盘形式展示查询结果，满足等保合规要求和网站业务的防护...
使用日志服务对数据库更新信息进行自定义查询分析、可视化、对接下游流计算、导入MaxCompute离线计算、导入OSS长期存储等操作。注意事项 建议您适当放开对Logtail的资源限制以应对流量突增等情况，避免Logtail因为资源超限被强制重启，对您...
在 TEST STRING 中粘贴日志样例中的日志，at之后的内容并没有被包含到message字段中（蓝色部分），因此该表达式不能完全匹配样例日志，即对于该样例日志来说，这条正则表达式是错误的，使用这条正则表达式无法正常采集到所有日志数据。...
日志服务和数据库Redis联合推出日志审计功能，将日志服务的部分功能融合到Redis的审计日志、慢日志、运行日志中，实现日志实时查询、可视化分析、告警、投递、加工等功能。本文介绍Redis日志相关的资源说明、费用说明及使用限制。资源说明 ...
服务日志 日志服务提供服务日志功能，支持记录Project内的用户操作日志等多种日志数据，并提供多种分析维度的仪表盘。您可以通过多种方式实时掌握日志服务的使用状况、提高运维效率。当前Project产生的所有日志数据都会被分类保存到特定的...
本文介绍RAM的基本概念和相关操作，包括身份管理、资源访问控制、授权RAM用户访问日志服务、授权服务角色读日志和授权用户角色操作日志服务。基本概念 RAM（Resource Access Management）是阿里云提供的用户身份管理与资源访问控制服务。您...
本文介绍如何在DDoS高防（新BGP、国际）控制台上开通全量日志分析功能，将DDoS高防（新BGP、国际）全量日志采集到日志服务中。前提条件 已创建新BGP或国际高防实例。具体操作，请参见 购买DDoS高防实例。已为新BGP或国际高防实例接入域名。...
日志服务联合传统型负载均衡CLB推出7层访问日志功能，用于记录所有发送到CLB的请求的详细信息，包括请求时间、客户端IP地址、延迟、请求路径和服务器响应等。您可以通过7层访问日志分析了解客户端用户行为、客户端用户地域分布和进行问题...
日志服务Node.js SDK封装了日志服务大部分主要的API接口。您可以通过日志服务Node.js SDK方便地调用日志服务大部分主要的API接口。版本说明 更多信息，请参见 Aliyun Log Node.js Release。示例代码 日志服务Node.js SDK提供丰富的示例代码...
网络类型 阿里云内网：阿里云内网为千兆共享网络，日志数据通过阿里云内网传输比公网传输更快速、稳定，内网包括VPC和经典网络。公网：使用公网传输日志数据，不仅会受到网络带宽的限制，还可能会因网络抖动、延迟、丢包等影响数据采集的...
本文介绍如何在数据库审计控制台上开通日志功能，将日志保存到日志服务中。前提条件 已开通日志服务。具体操作请参见 管理服务日志。已开通数据库审计。具体操作请参见 购买数据库审计实例。操作步骤 重要 如果您使用RAM用户开通日志功能，...
解决方案 将日志数据存储到不同Logstore 不需要配置多个Logtail采集配置，可以使用日志服务数据加工功能对日志进行复制，避免对同主机的其他服务性能造成影响。具体操作，请参见 复制Logstore数据。创建多个Logtail采集配置 主机场景 创建...
在 日志存储>日志库 页签中，单击目标Logstore。在 原始日志>原始 页签下，单击目标日志中的 图标。在 LiveTail 区域，查看结果。开启LiveTail后，将Logtail采集到的日志实时显示在监控列表中。最新的日志始终在页面底部，且滚动条默认在最...
日志服务支持秒级查询十亿到千亿级别的日志数据。基本语法 查询语句和分析语句以竖线（|）分割。查询语句的语法为日志服务专有语法，更多信息，请参见 查询语法。重要 查询语句可单独使用，分析语句必须与查询语句一起使用。即分析功能是...
本文介绍如何在负载均衡控制台上开通访问日志功能，将CLB 7层访问日志采集到日志服务中。前提条件 已创建CLB实例。具体操作，请参见 创建实例。已为CLB实例配置7层监听，即配置HTTP监听或HTTPS监听。具体操作，请参见 添加HTTP监听 或 添加...
本文介绍日志查询常见问题。如何在查询时判断日志的来源机器 如果通过Logtail采集日志时，机器组类型为IP地址机器组，机器组中的机器通过内网IP区分。在查询时，可以通过hostname和自定义配置的工作IP来判断日志的来源机器。例如，统计日志...
本文介绍如何在云安全中心控制台...警告 清空日志后，您当前已存储的所有日志数据将被删除。请谨慎操作。后续步骤 日志服务采集到日志后，您可以执行查询分析、下载、投递、加工日志，创建告警等操作。具体操作，请参见 云产品日志通用操作。