相对于原始的API或SDK，使用该类库写日志数据能为您带来诸多优势，包括高性能、计算与I/O逻辑分离、资源可控制等。特点 线程安全：Producer接口暴露的所有方法都是线程安全的。异步发送：调用Producer的发送接口通常能够立即返回响应。...
本文介绍日志服务读写数据的限制。类别 限制项 说明 备注 Project 写入流量 原始数据写入流量最大为100GB/min。超过限制时，返回状态码403，提示Inflow Quota Exceed。如果您有更大的使用需求，请提 工单 申请。写入次数 写入次数最大为...
c0000000000000000000000000000000)Shard3[c0000000000000000000000000000000,ffffffffffffffffffffffffffffffff)在Shard读写数据过程中，读数据时必须指定Shard ID，写数据时可通过负载均衡模式或者指定Hash Key的模式。负载均衡模式：每...
日志服务Java SDK封装了日志服务的所有API接口。您可以通过日志服务Java SDK方便地调用日志服务的所有API接口。版本说明 在下载日志服务Java SDK前，请选取合适的版本。...SlsSample.java 查日志、写日志、查看日志分布情况相关示例。
在向Shard读写数据过程中，读必须指定对应的Shard，而写的过程中可以使用Load-Balance方式。Load-Balance会根据后台系统负载自动均衡，保证写入的高可用性。分区的完整资源的参数含义示例如下：参数名称 类型 必须 描述 shardID int 是 ...
开启CloudLens for SLS后，日志服务默认采集 全局日志（审计日志、错误日志、监控指标）以及 运行日志（原实例日志中的重要日志和作业运行日志），以上日志均免费。新开通CloudLens for SLS，全局日志 存储在名称为 log-service-{阿里云主...
日志服务提供服务日志功能，用于记录操作日志、消费组延迟日志、Logtail告警日志、Logtail采集日志和Logtail状态日志，帮助您实时掌握日志服务的使用状况，提高运维效率。前提条件 已开通服务日志。更多信息，请参见 开通服务日志。背景...
支持一键开启实例日志（重要日志、详细日志、任务运行日志）和全局日志（审计日志、计费日志、错误日志、监控指标）的采集功能，集中管理日志的采集状态。说明 实例日志（重要日志、详细日志、任务运行日志）和全局日志（审计日志、错误...
详细日志 根据 Method 字段，详细日志被分为读操作、写操作和资源操作三类日志，具体如下：分类 请求方式 读操作 产生读操作日志的请求方式如下：GetHistograms GetLogs PullLogs GetCursor GetCursorTime 写操作 产生写操作日志的请求方式...
开通审计日志后，系统将记录写操作的审计信息，写入量或审计量可能会对云数据库MongoDB实例造成5%～15%的性能损失及一定的延时抖动。说明 如果您的业务对云数据库MongoDB实例的写入量非常大，建议仅在故障排查或安全审计时开通该功能，以免...
目前，日志服务提供新版资源包和旧版资源包，不同资源包抵扣规则不同。本文介绍购买资源包后仍产生欠费的原因。说明 在日志服务使用过程中，您可以在 用户中心 查看消费明细。更多信息，请参见 账单查询。新版资源包 购买了资源包后仍出现...
mysql_perf_innodb_log_write_requests 平均每秒日志写请求数 mysql_perf_innodb_log_writes 平均每秒向日志文件的物理写次数 mysql_perf_innodb_os_log_fsyncs 平均每秒向日志文件完成的fsync()写数量 mysql_perf_ins_size RDS实例磁盘...
mysql_perf_innodb_log_write_requests 每秒日志写请求数 mysql_perf_innodb_os_log_fsyncs 每秒向日志文件完成的fsync()写数量 mysql_perf_innodb_rows_deleted 每秒删除的行数 mysql_perf_innodb_rows_inserted 每秒插入的行数 mysql_...
2016/04/18 18:59:01:/var/www/html/SCMC/routes/example.php:329 [thread:1]errorcode:20045 message:extractFuncDetail failed:account_hsf_service_log 实施方法 日志写到本地文件，通过Logtail配置正则表达式写到指定Logstore中。...
错误日志 根据 Method 字段，错误日志被分为读操作、写操作和资源操作三类错误日志，具体如下：分类 请求方式 读操作 产生读操作日志的请求方式如下：GetHistograms GetLogs PullLogs GetCursor GetCursorTime 写操作 产生写操作日志的请求...
迁移方案 步骤一：执行日志双写 在迁移过程中，同时使用如下两条链路采集日志，两条链路互不影响。链路1：使用Filebeat采集日志到Elasticsearch。链路2：使用Logtail采集日志到日志服务。将日志采集到日志服务后，继续使用Grafana和Kinbana...
日志服务支持通过密钥管理服务KMS（Key Management Service）对数据进行加密存储，提供数据静态保护能力。日志服务同时支持基于SSL/TLS的HTTPS加密传输，有效防止数据在云端的潜在安全风险。服务器端加密 日志服务支持如下两种加密类型机制...
Logstash logstash-2.0.0版本，通过grok解析日志并写出到kafka（内置插件，开启gzip压缩）。日志解析配置：grok { patterns_dir=>"/home/admin/workspace/survey/logstash/patterns"match=>{"message"=>"%{IPORHOST:ip}%{USERNAME:rt}-\[%{...
日志服务支持对每一个源Logstore配置一个加工任务，实现数据复制后分发到不同Logstore。本文介绍数据复制后分发到不同Logstore的典型场景和操作方法。场景说明 某数据分析公司需要将Logstore中的每一条数据进行复制，并根据内容分别分发到...
在专有网络VPC控制台上开通流日志功能后，流日志将被采集到日志服务中，您可以通过日志服务对流日志进行查询、分析和排查网络故障。本文介绍通过日志服务数据加工对流日志进行公网流量过滤的操作方法。前提条件 已开通VPC流日志功能。具体...
如果您需要将Logstore中的日志数据保存多份，可以使用数据加工功能复制Logstore数据。本文介绍复制Logstore数据的使用场景和操作步骤。使用场景 某公司访问日志被采集存储在同一阿里云账号中的多个Project。现有需求将 project-a 中 ...
在 日志服务 中所有计费项都是单独计费的，例如您存储日志会产生日志存储费用，您采集日志会产生写流量费用等。计费项说明，请参见 按使用功能计费模式计费项。在账单数据中，BillingItem字段代表计费项。日志服务 的计费项组成，请参见 ...
OSS投递任务（新版）运行时，将读取Logstore中数据并投递到OSS Bucket中。您可以授予OSS投递任务使用自定义角色来完成以上操作。...请记录该信息，如果您在创建OSS投递任务时使用的是自定义角色，则需要在 写OSS RAM角色 中输入该信息。
本文主要介绍投递流量和读写...投递数据的大小和日志内容的复杂度与建立索引的字段数量有关。例如原数据10 GB，创建的索引数据为8 GB，原数据压缩后为2 GB，则投递流量为8 GB，读写流量为2 GB。更多信息，请参见 按使用功能计费模式计费项。
本文主要介绍数据加工流量和...加工数据的大小和日志内容的复杂度与建立索引的字段数量有关。例如原数据10 GB，创建的索引数据为8 GB，原数据压缩后为2 GB，则加工流量为8 GB，读写流量为2 GB。更多信息，请参见 按使用功能计费模式计费项。
完成上述操作后，您在创建MaxCompute投递任务（新版）时，在 写MaxCompute授权 中选中 默认角色，即可授权MaxCompute投递任务（新版）扮演AliyunLogDefaultRole角色将数据投递到MaxCompute表中。具体操作，请参见 创建MaxCompute投递任务...
本文主要介绍索引流量和读写...索引数据的大小和日志内容的复杂度与建立索引的字段数量有关。例如原数据10 GB，创建的索引文件为8 GB，原数据压缩后为2 GB，则索引流量为8 GB，读写流量为2 GB。更多信息，请参见 按使用功能计费模式计费项。
按量付费方式 按使用功能计费模式案例 案例1（免费使用日志服务）假设您有1台服务器，每天产生10 MB日志，您希望通过日志服务（Shard数量为1个，保存时间为1天）分析每天的日志，并通过Java程序实时订阅。假设本案例中的上传压缩率为20%。...
日志服务的所有计费项都是单独计费的，例如您存储日志会产生日志存储费用，您采集日志会产生写流量费用等。本文介绍日志服务费用的组成及付费方式。
日志服务的所有计费项都是单独计费的，例如您存储日志会产生日志存储费用，您采集日志会产生写流量费用等。本文介绍日志服务按使用功能计费模式计费项的组成及付费方式。说明 日志服务按使用功能计费模式支持采集日志和时序数据，时序数据...
日志服务的所有计费项都是单独计费的，例如您存储日志会产生存储费用，您采集日志会产生写流量费用等。更多信息，请参见 计费项。如果有需求，如何联系？如果您有日志服务相关的需求，可通过 需求单 或 工单 联系日志服务团队。
阿里云日志服务联合阿里云内容分发网络CDN推出实时日志推送功能，将借助于CDN访问图片、文字或视频资源时产生的日志实时推送到日志服务中。资产说明 自定义日志服务Project、Logstore 重要 请勿删除CDN实时日志相关的日志服务Project和...
权限错误 从S3 Bucket读取数据或者写数据到日志服务Logstore存在权限错误时，导入任务会定期重试，即修复权限问题后，导入任务会自动恢复。遇到权限错误时，导入任务不会跳过任何文件，因此修复权限问题后，导入任务会自动将Bucket中还未被...
日志审计服务支持快速开启日志采集功能，本文介绍开启日志采集功能以及相关操作的步骤。前提条件 已注册阿里云账号。建议使用阿里云RAM用户，该RAM用户需具备RAM读权限（例如已被授权AliyunRAMReadOnlyAccess策略），且对日志服务有读写...
作业监控 作业监控 仪表盘用于展示数据导入任务（新版）、投递任务（新版）或定时SQL任务运行情况，包括读成功条数、读失败条数、写成功条数、写失败条数、读公网流量、写公网流量、处理速率、进度落后、运行异常等图表。额度监控 额度监控...
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
日志索引-查询型（每GB）0.1 CU 0.19 CU 存储空间-日志热存储（每GB/天）0.0115 CU 0.02185 CU 存储空间-日志低频存储（每GB/天）0.005 CU 0.0095 CU 存储空间-日志归档存储（每GB/天）0.0017CU 0.00323 CU 索引流量-时序索引（每GB）0.2 ...
Logstore Shard数量 日志服务的写性能取决于目标Logstore的Shard数量（单个Shard支持5 MB/s的写入）。当数据量较大时，建议增加目标Logstore的Shard数量。具体操作，请参见 管理Shard。数据是否压缩 当数据量较大时，建议在写数据到Kafka时...
Logstore Shard数量 日志服务的写性能取决于目标Logstore的Shard数量（单个Shard支持5 MB/s的写入）。当数据量较大时，建议增加目标Logstore的Shard数量。具体操作，请参见 管理Shard。网络 目前云监控服务是中心化部署，导入任务需要通过...
Logstore Shard数量 日志服务的写性能取决于目标Logstore的Shard数量（单个Shard支持5 MB/s的写入）。当数据量较大时，建议增加目标Logstore的Shard数量。具体操作，请参见 管理Shard。归档文件的读取 如果待导入的文件是归档类型，则需要...