大数据监控

_相关内容

通过大数据平台搭建设备监控大屏

本文介绍如何对接物联网平台和阿里云大数据平台,以实现设备数据分析、统计、计算和可视化实时展示。前提条件 开通、购买相关阿里云产品实例和计算资源。使用阿里云大数据平台处理物联网平台设备相关数据,涉及多个阿里云产品,包括 云数据...

通过企业监控大盘查看监控数据

本文为您介绍如何通过企业监控大盘可视化查看监控数据。前提条件 请确保您已开通企业云监控。具体操作,请参见 开通企业云监控。背景信息 如果您想了解云监控与Grafana的其他集成方式,请参见 概览。操作步骤 创建指标仓库。具体操作,请...

使用ARMS应用监控数据指标绘制自定义的Grafana大盘

阿里云 可观测可视化 Grafana 版 支持一键集成ARMS应用监控数据源和大盘,如果您需要使用ARMS应用监控数据指标绘制自定义大盘,只需要创建一个Grafana工作区,一键集成ARMS应用监控数据源后,即可根据实际场景重新绘制Grafana大盘。...

资源消耗统计

Resource Consumption大盘:以整体维度展示相关监控数据,提供账号在该地域(Region)下,各Prometheus实例的自定义指标的上报信息以及上报的趋势。具体详情,请参见下文 Resource Consumption大盘说明。Resource Consumption Cluster大盘...

资源消耗统计

Resource Consumption大盘:以整体维度展示相关监控数据,提供账号在该地域(Region)下,各Prometheus实例的自定义指标的上报信息以及上报的趋势。具体详情,请参见下文 Resource Consumption大盘说明。Resource Consumption Cluster大盘...

Agent自动扩容能力说明

Agent副本数量不足可能会导致Agent频繁地因内存溢出而重启,进而导致数据采集延迟甚至丢失。...Agent自监控大盘监控数据的详细信息,请参见 Prometheus Agent自监控大盘。相关文档 您可以参考 探针设置,来查看Agent状态和数量。

Agent自动扩容能力说明

Agent副本数量不足可能会导致Agent频繁地因内存溢出而重启,进而导致数据采集延迟甚至丢失。...Agent自监控大盘监控数据的详细信息,请参见 Prometheus Agent自监控大盘。相关文档 您可以参考 探针设置,来查看Agent状态和数量。

配置数据质量监控

本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前,请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息(ods_user_info_d)同步至MaxCompute的ods_user_info_d表。已通过数据集成将...

数据及时性监控

本文为您介绍如何使用DataWorks智能监控的规则管理功能监控数据的及时性。前提条件 如果您想使用完整的智能监控功能,需要购买标准版及以上版本DataWorks,详情请参见 DataWorks各版本详解。关于DataWorks智能监控功能详情请参见 智能基线...

数据及时性监控

本文为您介绍如何使用DataWorks智能监控的规则管理功能监控数据的及时性。前提条件 如果您想使用完整的智能监控功能,需要购买标准版及以上版本DataWorks,详情请参见 DataWorks各版本详解。关于DataWorks智能监控功能详情请参见 智能基线...

配置数据质量监控

本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前,请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息(ods_user_info_d)同步至MaxCompute的ods_user_info_d表。已通过数据集成将...

将Prometheus数据投递至大数据计算服务MaxCompute

当您需要将某个Prometheus实例的数据导出,进行自定义业务处理时,可以使用Prometheus数据投递功能,将Prometheus实例数据投递至大数据计算服务MaxCompute处理。MaxCompute能帮助您结合其他的数据源执行大数据计算服务,加工后用于报表分析...

查看服务监控和节点状态

在 指标监控 页面的 Dashboard 下拉框中,选择FE服务和BE服务查看监控数据。查看节点状态 进入StarRocks的状态页面。登录EMR on ECS控制台。在顶部菜单栏处,根据实际情况选择地域 和资源组。在 集群管理 页面,单击目标集群操作列的 集群...

监控报警

监控报警方案 MaxCompute支持通过如下方式实现监控报警功能:通过 阿里云监控服务 配置 监控指标,对包年包月资源、实时作业消费、Tunnel上传下载数据量及作业运行时长 进行监控:通过监控大盘,实时观察监控图表,了解各监控指标的实时...

概览

请您根据每种集成方式的应用场景、监控数据范围和监控数据维度等信息,选择合适的集成方式。云监控与Grafana集成方式的差异如下表所示。类目 企业监控大盘 企业监控大盘(云下自建Grafana)Grafana插件 应用场景 支持云产品监控。支持多云...

概览

步骤三 创建监控大盘,具体操作如下:创建业务大盘 创建系统预置大盘 创建自定义大盘 线下IDC、阿里云产品和其他云厂商服务的监控数据接入云监控后,您可以为监控数据创建监控大盘,通过监控大盘查看指定监控指标的监控图表。您可以通过...

管理指标仓库

企业云监控通过指标仓库存储阿里云、线下IDC、其他云厂商、Prometheus监控、本地日志监控、SLS日志监控和自定义监控的监控数据,您还可以为监控数据创建监控大盘,通过监控大盘查看监控图标。创建指标仓库 本文以将监控数据存储到日志服务...

基于多云和混合云场景下的资源监控

您可以通过企业云监控创建一个指标仓库,将多云和混合云的数据汇入到指标仓库中,然后通过监控大盘将监控数据可视化展示,以实现多云和混合云场景化下的一体化监控。本文以混合云(阿里云和线下IDC)下的资源监控为例进行介绍。前提条件 请...

采集企业云监控日志

您可以在云监控的控制台创建指标仓库,用于存储线下IDC(Internet Data Center)、阿里云产品和其他云厂商服务的监控数据,然后为监控数据创建监控大盘,通过监控大盘查看监控图表。本文为您介绍在云监控创建指标仓库的步骤。前提条件 已...

新功能发布记录

2023年12月 功能名称 功能描述 发布时间 发布地域 相关文档 支持其他云厂商数据接入 可以通过创建AWS(亚马逊云)或腾讯云的数据接入任务,将监控数据接入云监控。2023-12-30 全部地域 管理其他云厂商服务的数据接入任务 阈值报警规则导出...

使用API查询监控数据

本文为您介绍如何使用API查询阿里云各产品监控数据。大型企业内部通常有自建的运维监控系统,上云过程中会面临如何将云资源监控数据与已有系统集成的问题。下面本文将为您介绍如何通过云监控接口查询各产品监控数据,从而将阿里云的监控...

什么是可观测监控 Prometheus 版

Prometheus实例 for 云服务 阿里云云服务 提供各阿里云云服务(ECS、RDS、SLB等)的监控数据。提供对应的Grafana监控大盘和告警。适合需要通过 可观测监控 Prometheus 版 来统一采集、存储和显示阿里云云服务的监控数据的场景。Prometheus...

什么是可观测监控 Prometheus 版

Prometheus实例 for 云服务 阿里云云服务 提供各阿里云云服务(ECS、RDS、SLB等)的监控数据。提供对应的Grafana监控大盘和告警。适合需要通过 可观测监控 Prometheus 版 来统一采集、存储和显示阿里云云服务的监控数据的场景。Prometheus...

如何通过阿里云注册集群和Prometheus...多云容器集群监控

步骤四:查看监控数据 可观测监控 Prometheus 版 默认集成常用的Grafana大盘供您查看监控数据,包括Deployment大盘、Daemonset大盘等,通过大盘查看监控数据的具体操作如下:登录 ARMS控制台。在左侧导航栏选择 Prometheus监控>实例列表,...

如何通过阿里云注册集群和Prometheus...多云容器集群监控

步骤四:查看监控数据 可观测监控 Prometheus 版 默认集成常用的Grafana大盘供您查看监控数据,包括Deployment大盘、Daemonset大盘等,通过大盘查看监控数据的具体操作如下:登录 Prometheus控制台。在左侧导航栏单击 实例列表,进入可观测...

数据质量风险监控

监控表行数、波动率和空值数据的监控规则配置与CDM层相同。由于在数仓分层中,越靠近应用层数据越少、约束性越低,强弱 选择为 弱。监控表异常PV。您可以利用自定义规则功能监控ADS层的应用数据。单击 自定义规则>添加监控规则。配置自定义...

主机可观测

可观测监控 Prometheus 版 支持通过node-exporter采集ECS Linux或Windows主机操作系统相关指标,也支持process-exporter采集进程相关监控数据,另外基于textfile的方式也支持采集用户写到文件中自定义监控指标。前提条件 已创建ECS实例。...

主机可观测

可观测监控 Prometheus 版 支持通过node-exporter采集ECS Linux或Windows主机操作系统相关指标,也支持process-exporter采集进程相关监控数据,另外基于textfile的方式也支持采集用户写到文件中自定义监控指标。前提条件 已创建ECS实例。...

数据质量风险监控

监控表行数、波动率和空值数据的监控规则配置与CDM层相同。由于在数仓分层中,越靠近应用层数据越少、约束性越低,强弱 选择为 弱。监控表异常PV。您可以利用自定义规则功能监控ADS层的应用数据。单击 自定义规则>添加监控规则。配置自定义...

数据质量:全流程的质量监控

DataWorks的全流程数据质量监控功能为您提供35种预设表级别、字段级别和自定义的监控模板。数据质量帮助您第一时间感知到源端数据的变更与ETL(Extract Transformation Load)中产生的脏数据,自动拦截问题任务,有效阻断脏数据向下游蔓延...

管理Prometheus实例

删除实例 重要 Prometheus 实例被删除后,实例中的监控数据、大盘、告警、服务发现配置会被删除并且无法恢复,请谨慎操作。在 实例列表 页面顶部菜单栏选择目标地域,然后单击目标实例 操作 列的 卸载。在弹出的对话框中单击 确认,即可...

管理问题数据

问题数据表名生成规则:{监控数据表原表名}_dirtydata_dw_system_dqc。问题数据表所属空间:根据当前表所处环境决定。如原始表为 dev_project.table1,则问题数据表将同样保存在 dev_project 下。问题数据表责任人:数据表原表的责任人。...

配置示例:MaxCompute

监控规则是数据质量(DQC)的核心。数据质量支持EMR(E-MapReduce)、Hologres、AnalyticDB for PostgreSQL、MaxCompute、CDH Hive监控,本文为您介绍如何配置MaxCompute监控。新增MaxCompute数据源 进入数据源页面。登录 DataWorks控制台...

数据风险点监控

离线数据风险点监控 数据准确性 数据准确性是数据质量的关键,也是所有离线系统加工时的第一保障要素,详情请参见 概述。下面为您介绍使用DataWorks的数据质量(DQC)保障MaxCompute离线数据的准确性。说明 执行数据质量需使用DataWorks...

配置数据质量监控

本文为您介绍如何配置表dwd_log_info_di_emr的数据质量监控规则。前提条件 在进行本实验前,请确保已完成 采集数据 和 加工数据。操作步骤 进入数据质量页面。登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据质量,在下拉框中...

数据质量入门

数据质量帮助您及时感知源端数据的变更与ETL(Extract Transformation Load)中产生的脏数据,自动拦截问题任务,阻断脏数据向下游蔓延。避免任务产出问题数据,影响正常使用和业务决策。本文示例配置表数据质量监控规则,保障产出的表数据...

报警短信与报警电话计费

计费项 运维中心的智能监控、实时同步任务监控数据质量产生的报警短信和报警电话,均会纳入计费范围。说明 智能监控服务也会产生基线实例从而产生费用,由于基线实例产生的费用详情可参见 基线实例计费说明。定价 每个自然月,DataWorks...

将Prometheus数据投递至大数据计算服务MaxCompute

当您需要将某个Prometheus实例的数据导出,进行自定义业务处理时,可以使用Prometheus数据投递功能,将Prometheus实例数据投递至大数据计算服务MaxCompute处理。MaxCompute能帮助您结合其他的数据源执行大数据计算服务,加工后用于报表分析...

配置并查看Spark作业监控与报警

安装完成后,单击各个页签可以查看相应监控数据。在 Prometheus监控 页面,单击右上角的 跳转到Prometheus服务。开启服务发现。在左侧导航栏,单击 服务发现。在 服务发现 页面,单击 配置 页签。单击 Podmonitor 页签。在 Podmonitor 页签...

配置并查看Flink作业监控与报警

安装完成后,单击各个页签可以查看相应监控数据。在 Prometheus监控 页面,单击右上角的 跳转到Prometheus服务。开启默认服务发现。在左侧导航栏,单击 服务发现。在 服务发现 页面,单击 配置 页签。在 默认服务发现 页签,打开 ...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用