搜索
相关推荐
搜索结果
阿里云
>
s
>
数据收集工具
数据收集工具_相关内容
相关搜索:
阿里云数据备案工具
数据可视化工具排名
电商数据可视化工具作用
阿里云拖拽式数据可视化工具应用
阿里云数据分析工具
ORACLE 数据迁移工具
相关产品:
智能长租场景解决方案
上云能力中心CMC
微服务中心解决方案
网站
产品与方案
帮助文档
开发者文章
开发者问答
云市场
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件,广泛用于日志收集和分析、数据处理等场景。可提供全托管服务,用户无需部署运维,更专业、更可靠、更安全。
云消息队列 Kafka 版兼容标准规范,支持海量开源组件或者云产品连接.Logstash
数据收集
.云消息队列 Kafka 版支持连接自建 Logstash服务,实现丰富的数据源导入和导出.Filebeat 日志收集.云消息队列 Kafka 版支持连接自建 Filebeat 日志采集,经由 Kafka 流转到后方 ES 服务.Hbase、Spark 数据处理.云消息队列 Kafka 版数据...
|
产品规格
|
产品优势
|
产品功能
|
应用场景
|
客户案例
|
产品动态
|
关联产品
|
文档与工具
来自:
云产品
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例,演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道,介绍如何通过快照 的方式,将ElasticSearch索引数据安全备份到 阿里云OSS存储空间,以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例,进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC,ECS,VPN网关,OSS,阿里云ElasticSearch,云速搭CADT
Logstash 文档版本:20210802 III 自建 ElasticSearch快照备份 OSS 前言 Logstash是一个开源
数据收集
引擎,具有实时流水线功能。Logstash可以动 态统一来自不同来源的数据,并将数据规范化之后投递到您选择的目的地。为 各种高级下游分析和可视化用例清理和准备所有数据 Kibana Kibana是一个开源分析和可视化平台,旨在与 ...
来自:
最佳实践
|
相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,Elasticsearch,云速搭
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署, 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮, 容器编排配置是否合理, 以及节点故障引 发的问题等, 方案通过 AHAS 故障注入模拟生 产环境产生的故障, 通过 ARMS 及时发现问题、 定位问题, 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障, 验证业务的稳定性。 发现调用数据库延迟故障, 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
ARMS工作流程如下图所示:
数据收集
:ARMS 支持通过配置从 ECS Log、MQ 和 Loghub 上抓取日志。任务定义:ᅳ 通过任务配置来定义实时处理、数据存储、展示分析、数据 API 和报警等任 务,从而定义出自己的应用场景。ᅳ 通过前端监控、应用监控等预设场景直接进行业务监控。应用场景:如上所述,除了自定义监控以外,ARMS ...
来自:
最佳实践
|
相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,应用实时监控服务 ARMS ,应用高可用服务 AHAS,云速搭
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用,每天 有大量的上传视频,需要及时转码处理以适配各 种终端及网络条件,要求短时间内准备大量的计 算资源进行大规模并行转码处理,同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
详见 https://cn.aliyun.com/product/fnf 日志服务(SLS):行业领先的日志大数据解决方案,一站式提供
数据收集
、清洗、分析、可视化和告警功能。全面提升海量日志处理能力,实时挖掘数据价值,智能 助力研发/运维/运营/安全等场景。详见 https://cn.aliyun.com/product/sls 文档版本:20201228(发布日期)III Function ...
来自:
最佳实践
|
相关产品:专有网络 VPC,对象存储 OSS,文件存储NAS,日志服务(SLS),Serverless 工作流
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计,提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云,涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求,如等保2.0法规要求。 同时当云上资源达到一定规模时,在内部会制定合规管控的基线,满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志,还需依赖云平台提供的持续监控和自动告警能力,实现合规性的自主监管。
详见:https://www.aliyun.com/product/fc 日志服务(SLS):一站式提供
数据收集
、清洗、分析、可视化和告警功能。全面 提升海量日志处理能力,实时挖掘数据价值,智能助力研发/运维/运营/安全等场景。详见:https://www.aliyun.com/product/sls 对象存储(OSS):使用 RESTful API 可以在互联网任何位置存储和访问,容量和...
来自:
最佳实践
|
相关产品:云服务器ECS,云数据库RDS MySQL 版,函数计算,操作审计,配置审计
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
将表 datahub_dataconnector_apache_logs
数
据
灌 入 odps_apache_logs 本实践方案中 Hive
数据
仓库中的原始表 apache_logs有一个分区字段 ds(日期值),每天生成一个分区。在使用 MMA
工具
迁移到 MaxCompute表 odps_apache_logs的 过程中,保留了该分区字段,因此在 MaxCompute上可以看到该表有一个分区字段:Datahub ...
来自:
最佳实践
|
相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景,Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
3.
数据
加工:消息队列收到的原始
数据
,往往存在格式不齐或内容不全,需要经过
数
据
清洗(ETL)之后,才能更好的被下游业务使用。而整个 ETL过程,是实时数 仓架构设计上非常重要的一环,该环节要做到延时小,成本低,可扩展性好,业务 指标计算准确。在系统选型上,推荐使用实时计算 Flink对
数据
进行处理,因为 Flink具有...
来自:
最佳实践
|
相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,NAT网关,云原生数据仓库AnalyticDB My,云速搭CADT
Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库(Oracle兼容 版)。通过ADAM将Oracle数据库迁移到 PolarDB数据库,可以降低应用升级、运 维成本,同时提升系统弹性,实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云, 通过ADAM评估迁移工具,降低迁移 风险,提高迁移效率。 2.使用PolarDB(Oracle兼容版)数据 库,提升数据库并发读能力,降低运维 成本。 产品列表 数据库和应用迁移(ADAM) PolarDB(Oracle兼容版) 云服务器(ECS) 专有网络(VPC)
方案优势 将 Oracle数据库迁移到阿里云 PolarDB数据库降低运维成本,方便扩展,满足
数
文档版本:20220210 1 Oracle数据库与应用迁移 PolarDB 最佳实践概述
据
库弹性需求。迁移过程中采用 ADAM评估分析
工具
,在迁移前就对
数据
和应用改造的工作量和 风险完全掌握,便于决策并有效降低实施风险。迁移过程中通过专业
工具
,自动...
来自:
最佳实践
|
相关产品:专有网络 VPC,云服务器ECS,云数据库PolarDB,数据库和应用迁移 ADAM,云速搭
数据库和应用迁移 ADAM
数据库和应用迁移 Advanced Database & Application Migration(以下简称 ADAM)是一款把数据库和应用迁移到阿里云(公共云或专有云)的产品,支持 Oracle、Teradata、Db2 的异构迁移上云。ADAM 全面评估上云可行性、成本和云存储选型,内置实施协助、数据迁移、应用迁移等工具,确保可靠、快速、低成本上云。
ADAM 全面评估上云可行性、成本和云存储选型,内置实施协助、
数据
迁移、应用迁移等
工具
,确保可靠、快速、低成本上云.谢赟辉,靖鑫,也树.通用icon文字列表.积累了阿里云从传统数据库系统迁移到其它存储多年成功经验.提供自动化迁移建议方案,方便客户对迁移工作量和成本进行预估.最大程度上帮助迁移人员快速、低成本地迁移...
|
产品优势
|
产品功能
|
应用场景
|
产品动态
|
文档与工具
来自:
云产品
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
数据库管理
工具数据
管理 DMS免费试用是一款支撑企业数据全生命周期的一站式Data+AI管理平台。支持全链路开发、安全合规(含数据备份)、Copilot提效等功能,致力于帮助企业高效、安全地挖掘数据价值,助力企业数字化转型。数据传输服务 DTS免费试用支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输。数据库自治...
来自:
云产品
云迁移中心
云迁移中心,为应用程序上阿里云提供迁云成本分析,网络拓扑图自动生成,一站式应用程序迁移监控,同时支持IDC和他云环境,加速和简化应用迁移。
独创无侵入调研技术,在满足用户业务与
数据
安全的前提下,完成对于线下系统的信息
收集
和分析,降低迁移计划生成的难度.通过提供业务集群的能力,用户可以将云下资源进行归类,在独立的业务大盘一站式管理全业务的迁移进度.大数据上云与
数据
中台建设.大数据上云与
数据
中台建设.针对于企业用户云下的大数据迁移上云来构建云上...
|
产品优势
|
产品功能
|
应用场景
|
相关文档
来自:
云产品
云连接器
云连接器是阿里云出品的物联网终端一键式定向上云服务,主要功能包括:专网虚拟化,端到到链路监控告警,应用识别,分应用计费。云连接器可以保障物联网终端数据安全快捷传输。
某全球自动驾驶行业的领先企业,其业务平台主要部署在阿里云上,采用大量无人驾驶训练车用于道路训练
数据收集
,同时在限定场景下通过云端驾驶员进行远程控车,对时延和带宽要求较高,需要满足弱网环境下的高可靠、低时延连接体验。使用了5G高速上云服务之后,最大化满足其对车辆行驶中网络可用度的需求,同时采用私网上云的...
|
产品优势
|
产品功能
|
应用场景
|
客户案例
|
文档与工具
来自:
云产品
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中,为了防止客户端作弊,在每局战斗之后,在客户端预判玩家胜利的情况下,需要服务端来进行战斗数据的结算,从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型,结算系统每日需要大量的计算力,尤其是开服或者活动期间忽然涌入的大量玩家,导致需要的计算量瞬间几倍增长,同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出,快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容,化解算力瓶颈,平滑解决暴增调用请求。 2. 降低成本:ECI每天弹性运行8小时,与6代同规格包月相比节省成本40%+,FaaS按需付费,即开即用,节省预留资源消耗。 3. 免运维:FaaS和ECI都是全托管免运维的服务,客户专注业务开发即可。 4. 模块公共化:减轻游戏逻辑服的压力,结算需求复用到类似需求的游戏。
基于 ECI+FaaS构建游戏战斗结算服 最佳实践 业务架构 背景描述 在游戏行业的很多游戏类型中,尤其是 SLG,为了防止客户端作弊,在每局战斗之 后,在客户端预判玩家胜利的情况下,需要 服务端来进行战斗
数据
的结算,从而确定玩 家是不是真正的胜利。战斗结算是强 CPU 密集型,结算系统每日需要大量的计算力,尤其是开服或者...
来自:
最佳实践
|
相关产品:容器服务 ACK,函数计算,弹性容器实例 ECI
云原生
阿里云拥有丰富的云原生产品家族,全面的云原生开源贡献,大规模的云原生应用实践,以及广泛的云原生客户群体,为企业数字创新提供全方位能力支撑。
阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性的分布式消息队列服务,广泛用于日志
收集
、监控
数据
聚合、流式
数据
处理、在线和离线分析等场景.消息队列 Kafka版.基于高可用分布式存储架构实现的 AMQP 0-9-1协议的消息产品。消息队列 RabbitMQ 版兼容开源 RabbitMQ 客户端,解决开源各种稳定性痛点.消息队列 RabbitMQ...
|
云原生产品家族
|
解决方案
|
客户故事
|
学习与认证
|
相关资料
|
合作伙伴
来自:
云产品
迁移与运维管理
阿里云提供一系列的运维管理工具:日志服务SLS、云治理中心等帮助你自动化的开发和运维,能够更加轻松控制云基础产品与基础设施。
阿里云提供一系列运维管理
工具
帮助用户实现简化、自动化地运维管理,使用这些
工具
,用户可以实现全站云资源的优化,进行协同工作并实现运维与监控、云管理、备份与迁移,帮助用户轻松控制云基础产品与基础设施.查看阿里云所有产品.频道页banner.谢赟辉,靖鑫,也树.【标题】产品动态-copy.日志服务是云原生观测分析平台,为...
|
所有产品
|
产品动态
|
产品资讯
|
客户案例
来自:
云产品
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务,内核基于业界领先的开源分析型数据库 Apache Doris 研发,由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求,广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景,致力于为客户提供极致性能、简单易用的数据分析服务。
极速
数据
分析基于 SelectDB 领先的查询分析引擎,结合
数据
缓存、统计信息
收集
等,SelectDB 分析性能可达 Presto/Trino 的 3~5 倍。可利用弹性计算资源、内表加速视图等,进一步提升性能。相关产品云数据库 SelectDB 版本产品对象存储 OSS开源大数据平台 E-MapReduce在线咨询阿里云数据库 SelectDB 版重磅发布,邀测火热进行...
来自:
云产品
宜搭
宜搭是阿里巴巴公司出品的一个基于钉钉和阿里云底座的低代码开发平台产品,可让企业业务人员通过简单的拖拽、配置即可完成应用搭建,助力企业数字化升级。
灵活且丰富的基础业务组件,满足用户多维度表单设计、
数据收集
等场景需求.大屏是对数字化的优秀视觉表现方案,更宏观表现数字化效果和阶段进程,帮助用户精准决策.可自定义页面样式风格、展示应用所有表单数据,灵活实现信息展示、导航、门户页面等功能.Excel生成应用.告别手工处理Excel表格,支持快速一键创建在线应用,...
|
产品优势
|
产品功能
|
应用场景
|
客户案例
|
产品规格
|
视频教程
|
文档与工具
来自:
云产品
E2企业云服务
阿里云E2企业云服务是阿里云旗下产品,包含E2云采销,E2能耗,E2金融链接器,E2EMAS,E2bizworks 6条核心产品线,为企业提供高效、普惠、解决痛点、价值驱动的企业云服务。
双碳政府碳全景推演平台,实时
收集
各行业排放
数据
,精准识别排放源,实现城市、行业、企业三级碳排放监控,提供区域碳排放全景监测,实时反馈政策效果.低碳社区旨在推动居民节能减碳,实现社区和家庭的碳排监测,让居民切身体会到绿色能源的可持续性和长期收益,以市场化机制驱动居民主动实现节能降碳.E2品宣页Z型图文.一站...
|
阿里云E2产品全景架构
|
围绕企业生命周期的完整解决方案,助力企业成功
|
限时免费使用
|
产品规格
|
阿里云E2 能耗
|
|
阿里云E2 EMAS
|
来自40+行业,3.5w+付费用户的信任与选择
来自:
云产品
智慧教学解决方案
阿里云智慧教学平台通过混合云模式,实现资源层的弹性伸缩能力,弥补了高并发的在线教学场景的资源瓶颈和视频资源的海量存储,通过与线下智慧教室的物联设备对接,实现了课程资源的统一汇集。
以学生为中心,基于学校实际的教学管理需求,围绕【课前】-【课中】-【课后】教学闭环,
集
【教】【学】【评】【管】于一体,通过信息技术与教学场景的深度融合,构建线上学习空间与实体教学课堂相融合的创新型学习空间,通过线上线下混合式教学模式,实现学校的教学模式、服务形式、管理方式的变革与创新.谢赟辉,靖鑫,也树....
|
方案架构
|
方案优势
来自:
解决方案
应用交付平台ADP
阿里云云原生应用交付平台ADP,借助容器和k8s等云原生技术带来的标准化编排交付和IaaS解耦能力,解决在私有化环境进行交付时的异构环境适配、部署复杂、云服务依赖和持续运维问题。
为上层业务应用的运行和管理维护提供必要的系统支持,含 K8s,日志
收集
、监控告警、故障诊断等,为软件提供可靠运行环境及运维
工具
.上架和管理各类通用中间件,提供给产品编排阶段进行引用和配置.蔡伟杰,靖鑫,也树.云原生应用交付平台 ADP 提供在线的统一产品和交付管理能力,在线上完成产品定义、编排、集成及验证,直至...
|
产品优势
|
产品功能
|
应用场景
|
功能对比
|
文档与工具
来自:
云产品
<
1
2
3
4
...
8
>
共有8页
跳转至:
GO
产品推荐
云服务器
安全管家服务
安全中心
这些文档可能帮助您
云数据库 RDS
数据传输服务
云数据库 Tair(兼容 Redis)
人工智能平台 PAI
弹性公网IP
短信服务
新品推荐
新人特惠
爆款特惠
最新活动
免费试用
切换为电脑版
新人特惠
爆款特惠
最新活动
免费试用