通过ES兼容接口方式使用Kibana访问SLS数据
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后,对SLS查询分析语法不太熟悉的客户,可以继续沿用原有的查询分析习惯,在不改变使用方式习惯的情况下,通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
工作原理 Kibana:用于查询、分析和可视化展示数据 Elasticsearch:用于存储Kibana的Meta数据,主要为配置信息,由于Kibana的Meta 信息经常需要更新,而SLS不支持更新操作,因此需要部署一个Elasticsearch专门 用于存储kibana的Meta数据 Proxy:用于区分Kibana对Meta数据和日志服务Elasticsearch兼容接口的API请求,需要...
来自: 最佳实践 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
 该场景也可以衍生为阿里云Kafka向其他云厂商的云Kafka进行消息、元数据同步的 场景,原理是一致的。方案限制 该方案场景只支持单向同步,不支持双向同步。产品介绍  专有网络VPC(VirtualPrivateCloud):是用户基于阿里云创建的自定义私有网络,不同的 专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
基于FC实现的Web端视频录制最佳实践
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景,在线教育领域会有直播视频录制的需求,但是往往一个页面上的内容是多种多样的,不止有直播流,可能还有白板,评论等其他元素,如果只是录直播流,那内容是不完整的,所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
函数计算为您准备好计算资源,弹性地、可靠地运行任务,并提供日志查询、性 能监控和报警等功能。对象存储 OSS:对象存储 OSS,是海量、安全、低成本、高可靠的云存储服务。使用 RESTful API 可以在互联网任何位置存储和访问,容量和处理能力弹性扩 展,多种存储类型供选择全面优化存储成本。容器镜像服务 ACR(Alibaba ...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
函数计算实现弹性音视频处理系统
函数计算实现弹性音视频处理<em>系统</em>
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用,每天 有大量的上传视频,需要及时转码处理以适配各 种终端及网络条件,要求短时间内准备大量的计 算资源进行大规模并行转码处理,同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
这使您的函数可以像访问本地文件 一样编写访问存储在其中一个 NAS 文件系统上的文件。详见 https://cn.aliyun.com/product/nas 对象存储 OSS:海量、安全、低成本、高可靠的云存储服务,提供 99.9999999999%的数据可靠性。使用 RESTful API 可以在互联网任何位置存储和访问,容量和处 能力弹性扩展,多种存储类型供...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,文件存储NAS,日志服务(SLS),Serverless 工作流
云数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案,帮助您免除MySQL运维的烦恼。
单元化部署系统可以按地域等规则拆解成多个独立小系统单元化部署,利用云数据库RDS MySQL高可用版或集群版,分散业务节点在不同可用区实现跨可用区容灾,保障核心系统稳定可靠。降本增效利用云数据库RDS MySQL高可用的ARM架构,可大幅降低上云成本,同时还可增加ARM架构的只读实例,实现读写分离,还可灵活增减只读节点数量...
来自: 云产品
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务,内核基于业界领先的开源分析型数据库 Apache Doris 研发,由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求,广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景,致力于为客户提供极致性能、简单易用的数据分析服务。
云数据库 SelectDB 版原理架构 云生存算分离架构、多计算集群、共亨存储,让海量数据分析更快、成本更低。快速开启您的云上实时数据分析之旅产品优势实时极速解决性能问题SelectDB 在宽表聚合、多表关联分析、高并发点查场景下,均具有极致的查询性能。登顶全球分析型数据库榜单 ClickBench,多项指标世界第一。支持实时...
来自: 云产品
视频直播
阿里云视频直播服务(ApsaraVideo Live)是基于领先的内容接入与分发网络和大规模分布式实时流媒体转码技术打造的直播平台,提供便捷接入、高清流畅、低延迟、高并发的音视频云高清直播直播服务。
阿里云视频直播的原理架构阿里云视频直播在服务端主要提供直播流接入、分发、实时流媒体处理服务。查看视频云场景推荐,帮助您更好了解产品搭配,快速选购产品产品优势全链路覆盖多渠道、全链路服务支持方案提供从推流、视频处理、内容分发到播放的全套解决方案,提供上下行码率自适应、窄带高清转码、截图、录制、视频审核...
来自: 云产品
计算巢服务
阿里云计算巢服务是一个面向ISV、SI、MSP和开发者的云集成PaaS平台,方便服务商更好的将产品、服务集成,借助云原生的能力提升软件服务交付、部署及后续管理。
通过故障监控及时发现问题智能故障诊断系统,快速定位问题,故障监控和上报,零延时响应故障,无须等待用户反馈。通过操作存档保障服务安全所有操作均被记录,实例操作保留录屏,安心服务无纠纷。相关产品云服务器 ECS对象存储操作审计访问控制在线咨询线下交付服务计算巢提供“线下部署”的能力,构建统一、完整的“线上”...
来自: 云产品
实时数仓Hologres
Hologres(原交互式分析)是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与自助分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。
通过Hologres提供的高并发读写能力,关联设备状态表,可以实时更新状态,满足CRM系统对设备(充电宝)的实时查询和监控,并助力业务实时决策.实时监控实时决策.替换开源Hive、Impala等,精简业务架构,避免数据孤岛以及一致性、安全性等问题,降低了开发、运维维护开销.降低运维开销.推荐搭配使用.互联网服务:数据中台和...
来自: 云产品
云原生企业级应急响应解决方案
基于ARMS构建企业级应急响应体系的最佳实践。核心步骤包括构建有效的全栈监控体系、合理配置有效的告警规则和快速接手,分析和处置告警
遵循混沌工程实验原理并融合了阿里巴巴内部实践,提供了丰富故障场景实现,帮助分布式系统提升容错性和可恢复性.有效验证系统架构的容错能力.提高故障的应急效率.提早暴露线上问题,降低故障复发率.可以解决的问题.简化故障和瓶颈排查.提高系统健壮性.提升客户体验.云原生应用混沌工程解决方案.阿里集团通过不定期的大规模...
来自: 解决方案
大规模分布式应用任务调度解决方案
大规模分布式应用任务调度解决方案,可以提供精确的周期性调度、任务编排、分布式计算、报警监控等能力,助力企业可视化地进行任务管理和运维。
通过调度中心的流程编排功能达到系统自动化处理,彻底避免了传统数据清算过程的人工操作,更加灵活,高效,安全,且具备完善的运维监控管控能力.支持任务优先级抢占,保障高优先级任务优先执行。支持流量控制,可控制一个应用同时在跑的任务数量,超过流控并发数,任务将在队列中等待,保障系统稳定运行.基于阿里巴巴电商...
来自: 解决方案
云原生
阿里云拥有丰富的云原生产品家族,全面的云原生开源贡献,大规模的云原生应用实践,以及广泛的云原生客户群体,为企业数字创新提供全方位能力支撑。
阿里云支撑阿里巴巴核心系统全面云生化,并助力数十万家企业完成数字化转型.容器服务 Kubernetes 版提供高性能可伸缩的容器应用管理能力.容器服务 ACK.ACR 是面向容器镜像、Helm Chart 等符合 OCI 标准的云原生制品安全托管及高效分发平台.容器镜像服务 ACR.ACK One 是面向混合云、多集群、分布式计算、容灾等场景推出的...
来自: 云产品
云数据库专属集群MyBase
云数据库专属集群MyBase是阿里云专为企业级用户定制优化的解决方案。支持MySQL、PostgreSQL、SQL Server、Redis和MongoDB数据库。具有云资源独享、支持资源超分配,自主可运维、开放权限等特点。MyBase不仅能保障客户独享云资源更加安全、享受到云数据库服务的便捷灵活,同时还满足企业对数据库合规性、安全性和高性能的要求。
重新定义云数据库新形态-云数据库专属集群 MyBase.MyBase MySQL 主从版发布,经典的一主多从架构且从库可参与高可用切换.MyBase SQL Server 发布 webshell 远程桌面连接到主机 Windows OS.MyBase 发布集群画像功能,可对数据库资源进行统一水位管理和监控.MyBase 主机发布标签功能,可将主机资源归类,便于资源搜索和聚合....
来自: 云产品
数据管理与服务
数据管理与服务作为阿里云产品六大版块之一,面向不同业务场景,阿里云提供数据存储、分析、应用等全链路能力,满足企业客户全方位的数据处理需求,实现计算和存储分离、资源解耦、数据移动减化,用以满足行业快速发展的需求和趋势,利用数据重塑其业务。
由阿里巴巴多位技术专家精心打磨内容,通过详细的图文介绍,深度剖析实时数仓面临挑战与发展趋势,详细介绍Holologres的技术原理和核心技术优势,并融合多维分析、实时大屏、网络监控、实时数仓等多个热门场景的最佳实践,助力实现服务和分析一体化实时数仓。期望大家在阅读完本书后,能在技术成长的路上更进一步!阿里云...
来自: 云产品
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一,主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品,向客户提供高度自动化的标准化产品对网络功能、计算机(虚拟或专用硬件)和数据存储空间进行访问,同时支持灵活扩展,可以直接使用自助服务界面。
一站式结构化数据存储Tablestore实战手册.docker原理及在运维工作的地位和作用,运维工作进化论,docker、微服务、k8s的联系,devops和docker的关系,docker的前世今生。容器,镜像和仓库,容器和虚拟化,优势和劣势,底层核心;容器除了docker还有什么其他选择?docker的安装及三大核心:容器、镜像、仓库.4天实战 轻松玩...
来自: 云产品
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件,广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰,更稳定,更安全。
作为淘宝/天猫主站核心的交易系统,每笔交易订单数据的产生会引起几百个下游业务系统的关注,包括物流、购物车、积分、阿里妈妈、流计算分析等等,整体业务系统庞大而且复杂,架构设计稍有不合理,将直接影响主站业务的连续性.通过上、下游业务系统的松耦合设计,即便下游子系统(如物流、积分等)出现不可用甚至宕机,都...
来自: 云产品
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
基于阿里云分布式文件系统和 SSD盘 高性能存储,RDS支持 MySQL、SQL Server、PostgreSQL、PPAS(高度兼容 Oracle)和 MariaDB引擎,并且提供了容灾、备份、恢复、监控、迁移等方面的 全套解决方案。详见:https://www.aliyun.com/product/rds/mysql 文档版本:20210425 III 自建 Hive数据仓库跨版本迁移到阿里云 Databricks...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
阿里云最佳实践容器workshop
阿里云最佳实践容器workshop
通过本篇最佳实践,可以熟悉容器及k8s的基本操作。基于eci的高弹性架构,能有效的应对业务流量洪峰,同时提升资源使用效率。
最大实例数的设置也是避免扩 容的节点数超出预期不可。文档版本:20220301(发布日期)57 阿里云ACK容器服务workshop 弹性伸缩 步骤7 为了方便使用,选择密码登录方式,单击确认配置。步骤8 通过依赖检查,单击提交。伸缩状态已启用,节点池也已激活。文档版本:20220301(发布日期)58 阿里云ACK容器服务workshop 弹性...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),访问控制,容器镜像服务 ACR,云效,云速搭
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用