CLI使用案例7:使用CLI进行高速跨域日志复制、历史数据重新索引与数仓投递

成喆 2018-09-07

服务器 OSS 日志 LOG shell 配置 aliyun 索引 html 公共云 重新索引 投递历史

背景

使用日志服务是不是常常遇到如下烦恼?

  1. 开启了字段索引却无法对历史日志起作用,而手动重建索引又很困难怎么办?
  2. 需要迁移数据,复制数据到其他区域logstore,写代码实现大并发复制又很复杂怎么办?
  3. 投递日志到OSS/ODPS仅仅对新数据起作用,又想投递历史日志怎么办?

现在使用CLI就可以帮你轻松实现这些操作。

介绍

复制数据(CopyData)支持将特定时间范围内的logstore的数据复制到特定logstore中去。其具备如下一些特点:

  1. 没有索引的数据也可以同步.
  2. 速度快, 易并发, 且支持传输压缩.
  3. 拉取的数据按照服务器接受的时间排序.
  4. 支持跨域、跨项目库复制。
  5. 支持复制数据到同一个logstore(重新索引)。

前提

这里假设已经完成了CLI的安装.

配置多区域账户

首先CLI中配置多个区域账户, 以便后续操作, 这一步也是一次性的. 如果之前已经做

登录 后评论
下一篇
corcosa
12896人浏览
2019-10-08
相关推荐
Redis快速入门
748人浏览
2018-09-27 14:53:00
Linux安装Redis
1502人浏览
2015-12-27 14:50:00
Linux安装Redis
1616人浏览
2015-12-27 14:50:00
Redis 数据库
759人浏览
2018-02-11 17:11:00
CLI使用案例4:灵活配置CLI
1366人浏览
2018-03-13 15:16:25
2
0
0
2078