SLS多云日志采集、处理及分析
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务,通过日志服务 进行数据分析,帮助提升运维、运营效率, 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户,推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输;针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况,可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
日志服务器机器组集群出公网实践示例 本实践的第 2章和第 3章为方便演示,直接给日志服务器分配了公网 IP地址具备公 网访问能力,实际在用户日志采集传输场景下,通常需要让日志服务器集群具备公网 出口能力以便采集的日志能够到日志服务,日志数据可以通过阿里云内网、公网、全球加速传送到阿里云日志服务,用户可以根据...
来自: 最佳实践 相关产品:云服务器ECS,日志服务(SLS),NAT网关,E-MapReduce,全站加速 DCDN,云速搭CADT
自建K8S集群迁移ACK弹性裸金属集群
自建K8S集群迁移ACK弹性裸金属集群
场景描述 在微服务化改造之后,企业在享受K8S带来应 用管理的便利的同时,存在硬件性能不足,本 地扩展性差,容器容灾难,K8S管理复杂等问 题。 解决问题 1.增强K8S扩展性:如何通过弹性裸金属服务 器的强劲硬件性能,实现云端资源急速扩 展,从容应对应用访问压力大的问题。 2.如何简化云端K8S运维:通过阿里云容器服 务(ACK)实现敏捷开发和部署落地,加速 企业业务迭代。 3.如何综合考虑迁移和容灾:如何整合云上和 云下容器资源实现遇到故障时可以通过健 康检查实现自动容灾。 4.如何不改应用上云:如何实现应用上云数据 库连接零修改。 5.数据库上云及回退:如何实现上云回退; 产品列表 ACK/ECS/SLB/NAT网关/弹性裸金属服务器/DTS/RDS MySQL
解决距离、毫秒级异步数据传输难题。详 见:https://www.aliyun.com/product/dts 全局流量管理:全局流量管理(Global Traffic Manager),简称 GTM,可以将应 用服务的用户访问流量路由至不同的 IP地址。全局流量管理不仅支持阿里云各 产品的 IP地址,同时也可以支持非阿里云产品的 IP地址,方便快速构建混合云 应用。...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,容器服务 ACK,NAT网关,弹性裸金属服务器(神龙),云速搭
超级计算集群实现自然语言处理训练
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景,使用神龙 GPU云服务器(SCCGN6)+CPFS进行NLP的 训练,采用Bert模型。这里不使用容器,直接 使用裸机进行NLP的Bert训练,使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器(SCCGN6) SCC超级计算集群 CPFS共享存储
–.meta文件是MetaGraphDef序列化的二进制文件,保存了网络结构相关的 ,包括graph_def和saver_def等;–.index文件为数据文件提供索引,存储的核心内容是以tensorname为键以 BundleEntry为值的表格entries,BundleEntry主要内容是权值的类型、形状、偏移、校验和等信息。–.data文件保存所有变量的值,即网络权值。 ...
来自: 最佳实践 | 相关产品:文件存储NAS,超级计算集群
Function Compute搭建前端CICD系统
Function Compute搭建前端CICD系统
场景描述 传统动静不分离的产品架构,随着访问量在增 长,性能会成为瓶颈。在这种情况下,用户可以 通过利用OSS和CDN对网站进行架构优化, 做到网站文件的动静分离,提升用户访问体验, 实现成本可控。本方案使用函数计算监听前端代 码库提交的分支变更,上传分支文件至OSS,通 过CDN进行前端资源加速。 方案优势 1.面向serverless:无需购买服务器 2.免运维:无需部署配置Jenkins 3.提供日志查询、性能监控和报警等功能 4.一站式:事件驱动方式触发响应 5.费用极低:按需付费 产品列表 专有网络VPC 对象存储OSS 日志服务SLS 函数计算 CDN
在这种情况下,用户可 以通过利用 OSS和 CDN对网站进行架构优 化,做到网站文件的动静分离,提升用户访问 体验,实现成本可。本方案使用 Function Compute监听前端代码 库提交的分支变更,上传分支文件至 OSS,通过 CDN进行前端资源加速。方案优势 1.面向 serverless:无需购买服务器 2.免运维:无需部署配置 Jenkins 3....
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,日志服务(SLS),函数计算,CDN
中小企业基于SAG APP实现云上移动办公
中小企业基于SAG APP实现云上移动办公
1. 客户端一键接入上云,配置自动化 2. 城域内 Internet 就近接入,快速高效 3. 数据加密传输,满足安全性要求 4. 阿里云控制台统一配置管理
如企业开通 OSS服务用于存储一些企业非机密 资料,员工可以通过 SAG接入阿里云通过内网直接下载浏览。5.1.上传 OSS文件 步骤1 登录 OSS控制台(https://oss.console.aliyun.com),单击进入 1.2章节创建的 bucket。步骤2 单击文件管理>上传文件,拖拽文件上传成功。(此处图片文件请自行选择本地电脑 已有的图片)文档...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,云企业网,云解析 PrivateZone,智能接入网关,云速搭
充电桩设备智能化解决方案
阿里云充电桩设备智能化解决方案,提供了端、网、云一体的解决方案,帮助客户更低成本、更快捷的完成设备智能化上云,并保障业务持续稳定的运行。
充电桩智能设备通过连接认证加固,对数据传输进行加密,并对数据传输过程中的安全风险实时监测,及时发现风险漏洞,实现安全风险防控.安全风险防护.根据您提交的需求,将有售前专家免费服务!根据您提交的需求,将有售前专家免费服务!售前专家免费服务.阿里云 IoT 针对充电桩设备智能化应用场景提供了端、网、云一体的解决...
来自: 解决方案
云连接器
云连接器是阿里云出品的物联网终端一键式定向上云服务,主要功能包括:专网虚拟化,端到到链路监控告警,应用识别,分应用计费。云连接器可以保障物联网终端数据安全快捷传输。
某全球自动驾驶行业的领先企业,其业务平台主要部署在阿里云上,采用大量无人驾驶训练车用于道路训练数据收集,同时在限定场景下通过云端驾驶员进行远程控车,对时延和带宽要求较高,需要满足弱网环境下的高可靠、低时延连接体验。使用了5G高速上云服务之后,最大化满足其对车辆行驶中网络可用度的需求,同时采用私网上云的...
来自: 云产品
跨云迁移单写双读过渡架构
跨云迁移单写双读过渡架构
概述 在搬站场景下,涉及迁移跨度较长,在过渡阶段客户需要跨云访问,如何保障数据链路的高可用尤为关键,采用专线和公网双备的方案保障数据传输的高可用,也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 在迁移时间持续较长的情况下,使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证,保障迁移平滑过渡。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
数据传输致力于在公共云、混合云场景下,解决 距离、毫秒级异步数据传输难题。它底层的数据流基础设施为阿里双 11异地多 活基础架构,为千下游应用提供实时数据流,已在线上稳定运行 6年之久。您 可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。详见:https://www.aliyun.com/product/dts 云企业网:阿里云...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,数据传输,性能测试 PTS,云企业网,云速搭CADT
SLS数据入湖Kafka最佳实践
SLS<em>数据</em>入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
 云消息队列Kafka版:是阿里云基于ApacheKafka构建的高吞吐量、高可扩 展性的分布式消息队列服务,广泛用于日志收集、监控数据聚合、流式数据处 理、在线和离线分析等场景,是大数据生态中不可或缺的产品之一,阿里云提 供全托管服务,用户无需部署运维,更专业、更可靠、更安全. Serverless应用引擎SAE...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
实时监控应用关键业务异常告警
使用日志服务(SLS)基于收集的业务日志对业务实现监控与告警,能够帮助您了解应用的运行趋势,及时发现业务异常状态,采用具体措施以保证系统稳定性。
产品解决方案文档社区权益中心定价云市场合作伙伴支持服务了解阿里云备案控制台方案导读日志监控的重要性业务价值如何实现日志监控与传统方案对比应用场景方案部署方案权益实时可观测,即时应对风险为了保障业务稳定性、提升客户满意度,运维监控告警故障定位(运维)、检测防范安全威胁(安全)、业务数据分析...
来自: 解决方案
通过ES兼容接口方式使用Kibana访问SLS数据
通过ES兼容接口方式使用Kibana访问SLS<em>数据</em>
自建ELK日志系统的客户迁移到阿里云日志服务SLS后,对SLS查询分析语法不太熟悉的客户,可以继续沿用原有的查询分析习惯,在不改变使用方式习惯的情况下,通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
通过ES兼容接口方式使用Kibana访问SLS数据最佳实践 业务架构 场景描述 日志服务SLS提供Elasticsearch兼容接口,支 持客户将日志采集到日志服务后,仍可以继续沿 用Elasticsearch的查询方案,即通过使用 Kibana访问日志服务的Elasticsearch兼容接 口,实现查询SLS数据。应用场景 自建ELK日志系统的客户迁移到阿里云日志服 务...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
容器多云统一监控日志
容器多云统一<em>监控</em>日志
多云、混合云成为常态,Forrester 报告中指出,未来 89% 的企业至少使用两个云,74% 的企业至少使用三个甚至更多公有云,在面对多云/混合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑战,本方案给出了在多云/混合云场景下,构建基于容器环境下的统一管理、统一监控和统一日志方案,解决多云、混合云场景下,运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)或者IDC基于容器(Kubernetes)运行业务系统,希望构建容器场景下的统一监控日志系统,方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统,在一个平台可以看到不同环境系统的运行情况。
容器多云统一监控日志 最佳实践 业务架构 场景描述 多云、混合云成为常态,Forrester报告中指出,未来89%的企业至少使用两个云,74%的企业 至少使用三个甚至更多公有云,在面对多云/混 合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑 战,本方案给出了在多云/混合云场景下,构建 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,容器服务 ACK,日志服务(SLS),应用实时监控服务 ARMS ,微服务引擎
ECS 数据备份保护
随着企业核心业务规模不断扩大,需要根据业务需求对生产环境中的关键数据进行定期备份。
产品解决方案文档社区权益中心定价云市场合作伙伴支持服务了解阿里云备案控制台ECS 数据备份保护方案介绍方案优势应用场景方案部署ECS 数据备份保护随着企业核心业务规模不断扩大,需要根据业务需求对生产环境中的关键数据进行定期备份,在发生误操作、病毒感染、或攻击等情况时,能够快速从已有的快照恢复到某个...
来自: 解决方案
容器场景下的应用性能监控、调用链拓扑、内存剖析
容器场景下的应用性能<em>监控</em>、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
文档版本:20240329 17容器场景下的应用性能监控、调用链拓扑、内存剖析 场景验证 点击确定后等待30s,步骤4 通过日志与监控菜单确认集群是否已经安装了ack-onepilot 文档版本:20240329 18容器场景下的应用性能监控、调用链拓扑、内存剖析 场景验证 文档版本:20240329 19容器场景下的应用性能监控、调用链拓扑、内存剖析 ...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
基于MSE和SAE的微服务部署压测
基于MSE和SAE的微服务部署<em>与</em>压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
阿里云原生产品完全兼容SpringCloud框架的主流版本,监控能力通过探针方式采集 运行时数据,对业务代码无侵入。应用场景 借助云原生产品MSE、SAE、ARMS、PTS,提供一个经典微服务场景上云的步骤,体现云原生相关产品在微服务应用上云过程中,解决无服务化部署、微服务注册、微 服务监控、微服务测试的能力。本实践中使用的...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
影视数据分发汇集与传输加速
影视<em>数据</em>分发汇集<em>与传输</em>加速
场景描述 使用阿里云对象存储服务OSS及OSSBrowser 工具,实现影视数据多用户多地域分发、汇集, 以及传输加速的最佳实践。 解决问题 1.跨地域、多角色、分权限文件上传、下载。 2.基于OSS及其客户端实现Serverless文件 分发服务(可替换传统FTP服务)。 3.OSS文件传输全球加速。 产品列表 lOSS lRAM
影视数据分发汇集与传输加速 场景描述 业务架构 使用阿里云对象存储服务 OSS及 OSSBrowser 工具,实现影视数据多用户多地域分发、汇集,以及传输加速的最佳实践。解决问题 1.跨地域、多角色、分权限文件上传、下载。2.基于 OSS及其客户端实现 Serverless文件 分发服务(可替换传统 FTP服务)。3.OSS文件传输全球加速。产品...
来自: 最佳实践 | 相关产品:对象存储 OSS,访问控制
无代理ECS数据备份高效环境搭建
本方案是基于快照提供数据保护和环境搭建的解决方案。可以帮助您实现无代理且有效可靠的数据备份,同时还可以帮助您快速克隆部署开发测试环境。使用基于快照的备份不仅简单有效,在数据备份以及恢复中也能保证稳定可靠,同时基于快照的环境搭建,不仅可以免于从0到1搭建环境,还可以将环境、数据等全部打包克隆到新机器上。
产品解决方案文档社区权益中心定价云市场合作伙伴支持服务了解阿里云备案控制台无代理ECS备份高效环境搭建方案介绍方案优势应用场景方案部署方案权益无代理ECS备份高效环境搭建本方案是基于快照提供数据保护和环境搭建的解决方案,可以帮助您实现无代理且有效可靠的数据备份,同时还可以帮助您快速克隆部署开发测试...
来自: 解决方案
企业级云灾备与数据管理
本方案以备份 ECS 文件为例,介绍如何部署一个简单的云灾备环境,以满足常见的数据保护需求。
产品解决方案文档社区权益中心定价云市场合作伙伴支持服务了解阿里云备案控制台企业级云灾备与数据管理方案介绍方案优势应用场景方案部署方案权益企业级云灾备与数据管理云备份 Cloud Backup 为企业数据安全提供了全方位的云灾备、冷热数据统一管理能力,全面覆盖公共云、混合云以及本地 IDC 生产环境,帮助用户减少因...
来自: 解决方案
云原生企业级数据
基于对象存储 OSS 构建的数据湖,可对接多种数据输入方式,存储任何规模的结构化、半结构化、非结构化数据,打破数据湖孤岛。
产品解决方案文档社区权益中心定价云市场合作伙伴支持服务了解阿里云备案控制台云原生企业级数据湖方案介绍方案优势应用场景方案部署方案权益云原生企业级数据湖基于对象存储 OSS 构建的数据湖,可对接多种数据输入方式,存储任何规模的结构化、半结构化、非结构化数据,打破数据湖孤岛。无缝对接多种数据分析产品,对...
来自: 解决方案
多媒体数据存储分发
以搭建一个多媒体数据存储与分发服务为例,搭建一个多媒体数据存储与分发服务。
产品解决方案文档社区权益中心定价云市场合作伙伴支持服务了解阿里云备案控制台多媒体数据存储分发方案介绍方案优势应用场景方案部署方案权益多媒体数据存储分发视频、图文类多媒体数据量快速增长,内容不断丰富,多媒体数据存储分发解决方案融合对象存储 OSS、内容分发 CDN、智能媒体管理 IMM 等产品能力,解决...
来自: 解决方案
< 1 2 3 4 ... 8 >
共有8页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用