修改元数据采集器的执行计划 进入 已采集列表，单击目标数据源采集器 操作 列的 编辑，即可修改采集器的执行计划，支持的执行计划包括 手动采集 或 周期采集。手动采集：在配置目标数据源的元数据采集器后，需要按需手动触发元数据的采集和...
分布式链路跟踪产品总体架构如下图所示：Trace 数据采集通道 目前支持 3 种数据的采集通道，分别是阿里云底座的 SLS 通道，Antstack 底座的 ALS 通道，以及应用主动上报的通道。前两种是基于 Trace 日志收集的方式，后一种是 Trace 数据...
Telegraf是InfluxData开发的数据采集器，支持众多的输入输出插件（例如MySQL、Redis、Elasticsearch等），在开源领域被广泛使用。本文介绍Telegraf的工作机制、安装步骤及采集方式。工作机制 日志服务基于Telegraf开发的监控模板，支持将...
方案设计 传感器数据采集上云解决方案如下图所示。数据链路为：测温器将物理信号转换成数字信息，组装成结构化数据，通过无线网络传输，采用MQTT协议接入阿里云物联网平台。物联网平台的规则引擎模块对原始数据进行过滤、富化、转换，实时...
源数据采集客户端太多时，如果源数据通过Tunnel直接进入到一个分区，则每个源数据采集客户端提交一次数据，都会在同一分区下产生一个独立的文件，从而导致大量小文件的出现。当SLS触发FunctionCompute持续高频地向MaxCompute中传入文件时，...
敏感数据保护：为保证数据库的敏感信息不被泄漏，数据采集器会对采集到的数据进行脱敏。兼容性分析：源库特性匹配：识别对象使用了哪些特性，并给出在目标库上的解决方案。源库使用场景匹配：针对一些特定的使用场景（通常可能会影响性能）...
说明 数据库采集器运行环境要求：数据库采集器所在的机器网络可连接Oracle源数据库即可，无需安装在源数据库物理机上。内存需达到6 GB以上，同时硬盘空间需满足50 GB以上。源库结构采集时，对收集结果数据自动进行参数脱敏。源库结构采集时...
您可以通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则，那么在数据地图表详情页面进行数据预览时，命中的敏感字段将会被脱敏。本文为您介绍...
各产品系列对比 系列 说明 适用场景 基础版 单节点实例 个人学习、中小规模DevOps监控、应用指标和IoT传感器的时序数据采集分析、中小企业开发测试。高可用版 采用Raft一致性协议的三节点架构，适合80%以上的用户场景 大中型企业的指标采集...
暂不支持调整 数据采集和上报 每个数据点最大支持大小 2 KB 暂不支持调整 每个用户最大时间线数量 无限制 实际上系统会在到达限额之前为您自动做相关的扩容，因此您无需关注该限制。每次上报请求总数据量大小 不超过1 MB 不支持调整，超过1...
数据采集器使用 Filebeat 轻量型日志采集器，用于转发和汇总日志与文件。参见以下文档，快速使用Filebeat。通过Filebeat采集Apache日志数据 Metricbeat 轻量型指标采集器，输送各种系统和服务统计数据。参见以下文档，快速使用Metricbeat。...
特殊场景1：将多个应用数据采集到同一Logstore 如果您需要将多个应用数据采集到同一Logstore，可以设置 aliyun_logs_{key}_logstore 参数，例如以下配置将2个应用的stdout采集到stdout-logstore中。示例中应用1的 {key} 为 app1-stdout，...
定制需求1：将多个应用数据采集到同一Logstore 如果您需要将多个应用数据采集到同一Logstore，可以设置 aliyun_logs_{key}_logstore 参数，例如以下配置将2个应用的stdout采集到stdout-logstore中。示例中应用1的 {key} 为 app1-stdout，...
public int joinChannel(DingRtcAuthInfo authInfo,String userName)该方法让用户加入频道，一个频道内可以加入多个用户进行互相通话。参数说明 参数 类型 描述 authInfo DingRtcAuthInfo 认证信息，从AppServer获取。userName String 任意...
Beats数据采集中心 Beats是轻量级的数据采集工具，集合了多种单一用途的数据采集器。它们从成百上千或成千上万台机器和系统向Logstash或Elasticsearch发送数据。阿里云Elasticsearch的Beats采集中心支持Filebeat、Metricbeat、Auditbeat和...
请使用 ADAM 数据库采集器采集的 ZIP 包进行上传并创建画像。画像报错，采集数据中缺乏某信息？ADAM 画像必须分析完整的采集数据，如果缺乏某些必要信息，请重启采集或联系 ADAM 工作人员。画像内容，如何查看兼容度？ADAM 数据库画像主要...
基于业务监控需要，进行自定义指标采集器设计与编写，业务指标如果涉及到从数据库、日志等原始数据中提取，通过代码实现自定义指标采集器进行编写和设计。大盘配置工作，基于方案设计，基于非生产环境数据，进行可视化大盘配置工作，并在...
字段 类型 描述 id String 数据采集ID name String 数据采集名称 type String 数据采集端的类型-server-web-app注：目前只支持 server status Integer 状态-0 未开通-1 开通中-2 开通成功-3 开通失败 dataCollectionType String 数据采集的...
字段 类型 描述 id String 数据采集ID name String 数据采集名称 type String 数据采集端的类型-server-web-app注：目前只支持 server status Integer 状态-0 未开通-1 开通中-2 开通成功-3 开通失败 dataCollectionType String 数据采集的...
PG管理 HoloStudio中的PG管理会通过DataStudio的 表管理 功能进行替换，但DataStudio表管理中Hologres的元数据来自数据地图的元数据采集器，您需要前往数据地图配置元数据采集器，详情请参见 元数据采集。数据开发迁移 我们会将HoloStudio...
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
单击 前往采集中心查看，返回 Beats数据采集中心 页面，在 采集器管理 区域中，查看启动成功的Filebeat采集器。等待 采集器状态 变为 已生效1/1 后，单击右侧 操作 栏下的 查看运行实例。在 查看运行实例 页面，查看 采集器安装情况，当...
本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓，然后通过Hologres和MaxCompute分别进行实时与离线数据分析，从而实现实时离线一体化解决方案。背景信息 随着社会数字化发展，企业对...
使用Wi-Fi接入网络的设备可以主动将网络状态信息和网络错误数据，通过指定Topic上报至云端。下面介绍设备上报网络状态的Topic、数据格式和网络错误数据说明。说明 如果设备使用AliOS Things 3.0版及以上系统，会自动检测和上报网络状态数据...
其他操作 数据总览 您可以在数据总览页面查看当前地域（Region）下配置了数据采集器的Hologres数据库统计信息和表信息，进入数据总览详细步骤请参见 数据总览。查找表 数据地图支持通过表名，表描述、字段名及字段描述等搜索表，同时还可以...
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
IoT数据源 2023年3月更新记录 时间 特性 类别 描述 产品文档 2023.3.28 更新功能 数据地图 为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。元数据采集 2023.3.23 新增功能 数据集成 离线和实时任务支持使用Logview查看...
您可以自行采集数据库对象定义，也可以下载迁移评估采集器完成数据库对象的采集。本文为您介绍如何通过迁移评估采集器采集数据库对象。背景信息 迁移评估采集器是用于在公有云环境采集用户 Schema 数据的工具。您在公有云环境下不可以使用...
问题数据采集最终将基于您的规则生成数据采集SQL，并在MaxCompute引擎侧执行，此过程将产生MaxCompute计算引擎费用。问题数据采集结果将存储与MaxCompute临时表中，此过程将产生MaxCompute计算引擎存储费用。保留问题数据配置入口 您可在按...
1）0x01（读线圈寄存器）2）0x02（读离散输入寄存器）3）0x03（读保持寄存器）4）0x04（读输入寄存器）写功能码 1）0x05（写单个线圈寄存器）2）0x06（写单个保持寄存器）3）0x0F（写多个线圈寄存器）4）0x10（写多个保持寄存器）批量操作 ...
跨地域容灾方案★由多个子实例构成全球分布式实例，所有子实例通过同步通道保持实时数据同步，由通道管理器负责子实例的健康状态监测、主从切换等等异常事件的处理，适用于异地灾备、异地多活、应用就近访问、分摊负载等场景。更多介绍请...
通过CRD管理Logtail采集配置的工作原理 日志服务通过 Deployment 部署了一个控制器 alibaba-log-controller，该控制器负责监听 AliyunLogConfig 资源的变化。当用户通过kubectl或其他Kubernetes管理工具创建、更新或删除 AliyunLogConfig ...
建设效果 目前图扑软件联合阿里云端支撑泛在电力物联网及智能楼宇行业客户实现终端设备传感器云端数据采集、存储、检索，实现并发量100万TPS以上的传感器采集数据的并发写入，最高存储时序时间线40万能力，节约数据存储和系统维护成本达6成...
容器环境 考虑到容器集群可能涉及大量数据采集，通常是将单个容器集群定位为一个监控环境。针对此类环境，为 ACK、ACK Serverless集群 以及 ACS 等阿里云容器服务实施了一套自动化管理流程，助力您轻松部署采集探针并处理数据。针对您自建...
定位读取Buffer数量较多的慢查询 当一张表缺少索引，而对该表的查询基本上都是点查时，数据库将不得不使用全表扫描，并在内存中使用过滤条件来过滤掉大量的无效记录，导致CPU使用率大幅上升。通过 pg_stat_statements 插件的统计信息，参考...
Logstash快速入门 Beats Beats是轻量级的数据采集工具，支持一键部署采集器，可视化采集与配置日志文件、网络数据、容器指标等多种类型数据，并集中管理多个采集器。Beats快速入门 高级监控报警 基于Elasticsearch开发的，具备采集、监控、...
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
本文对数据管理控制台中服务器监控数据刷新频率进行说明。通过“登录服务器”，进入到服务器管理界面，“实时监控”显示的数据，是每隔5秒左右获取一次数据，如下图。关闭、退出服务器管理界面，会自动停止“实时监控”数据的采集。数据...
采集文件：您可以下载迁移评估采集器进行数据采集，采集完成后的文件将上传至云上进行评估。详情请参见 通过迁移评估采集器采集数据库对象。上传文件 单击 上传文件，选择需要评估的文件进行上传。支持上传多个文件，生成一个评估报告。...
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...