自建ELK迁移阿里云日志服务
自建ELK迁移阿里云日志服务
场景描述 ELK Stack(Elastic/Logstash/Kibana) 通常 被用于日志实时分析, 在开源社区中有大量 的内容和使用案例。 本文介绍如何将自建的 ELK 系统迁移到阿里云 SLS 日志服务。 解决问题 1. 自建 ELK 如何迁移到阿里云日志服务。 2. 如何使用 Logtail 采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、 分析。 产品列表  阿里云日志服务(SLS)  VPN 网关  IPSec VPN  云服务器
阿里云日志服务是阿里巴巴集团对日志场景的解决方案产品,前身是2012年初阿里 云在研发飞天操作系统过程中用来监控+问题诊断的产物,但随着用户增长与产品发 展,慢慢开始向面向Ops(DevOps,AIOps,SecOps,FinOps)日志分析领域发 展,期间经历双十一、蚂蚁双十二、新春红包、国际业务等场景挑战,成为同时服务 国内外的...
来自: 最佳实践 相关产品:云服务器ECS,日志服务(SLS)
传统企业业务上云基础安全防护
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上,以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案,是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
可以监控系统性能、控制 网络配置、管理系统升级和系统安全管理。 审计管理员:是针对本系统执行审计管理操作。其中,系统管理员和系统审计员需要由安全管理员开通,且只能通过数据库审计实例 的公网IP地址访问系统。步骤1 单击实例下的配置,在公网访问控制选择白名单访问模式,在配置白名单里填入本机 IP。文档版本:...
来自: 最佳实践 | 相关产品:云安全中心,Web应用防火墙,数据库审计,堡垒机,云防火墙,云速搭CADT
金融专属大数据workshop
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库,掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建,用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
此 处 的 JAR 文 文档版本:20210803(发布日期)41阿里云最佳实践金融大数据WorkShop 最佳实践项目实践(ververica-connector-hologres-1.12-vvr-3.0-SNAPSHOT-jar-with-dependencies.jar)请从第3章获取的压缩包中获取。3.系统会自动解析上传的JAR文件,解析成功以后单击完成并查看Connectors列表 中上传的自定义...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
利用交互式分析(Hologres)进行数据查询
利用交互式分析(Hologres)进行数据查询
场景描述:随着收集数据的方式不断丰富,企业信息化 程度越来越高,企业掌握的数据量呈TB、 PB或EB级别增长。同时,数据中台的快 速推进,使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力,为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
随着数据收集手段不断丰富,行业数据大量积累,数据规模已增长到了传统软件行业 无法承载的海量数据(百TB、PB、EB)级别。MaxCompute致力于批量结构化数 据的存储和计算,提供海量数据仓库的解决方案及分析建模服务。由于单台服务器的处理能力有限,海量数据的分析需要分布式的计算模型。分布式的 计算模型对数据分析人员...
来自: 最佳实践 | 相关产品:大数据计算服务 MaxCompute,DataV数据可视化,实时计算,Hologres,云速搭CADT
AK防泄漏
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据,AK是软件程序访问阿里云资源的凭据。 如果AK被泄露,那么会造成非常严重的后果, 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿,等等。采用合适的方式来使用、 保护AK,是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
安装阿里云 APP 在移动客户端安装阿里云 APP,在进行双因子认证时需要用到。单击前往阿里云 APP 下载页面,https://promotion.aliyun.com/ntms/mobile.html 3.2.2. 开启双因子认证 步骤1 使用阿里云主账号登录阿里云管理控制台。(https://home.console.aliyun.com/)步骤2 鼠标悬停至页面右上角头像处,单击安全设置。文档...
来自: 最佳实践 | 相关产品:云服务器ECS,访问控制,云安全中心,操作审计,云速搭CADT
文字识别
阿里云OCR文字识别是可以将图片识别文字的数据智能产品,支持印刷品、卡证、票据、图片、文档等多类文件,具备全栈全场景的文字识别能力,
专有云docker化部署,不依赖底座环境,部署成本低,15分钟即可自主完成部署安装.提供高可用、高稳定的产品服务。保证线上服务7x24小时不间断,同时支持钉钉远程产品答疑和技术支持.实现违章车辆信息的自动识别,实现道路违章行为检测和记录的自动化,有效降低人力监控成本,大幅度提升管理效率.实现车牌号和VIN码的自动识别...
来自: 云产品
自建Hive数仓迁移到阿里云EMR
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统,购买阿里云EMR集群之 后,涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本),涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
基于阿里云分布式文件系统和 SSD盘高性能 存储,RDS支持 MySQL、SQL Server、PostgreSQL、PPAS(高度兼容 Oracle)和 MariaDB引擎,并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决 方案。文档版本:20210721 IV 自建Hive数据仓库跨版本迁移到阿里云 EMR 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.V ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
数据湖-在线学习场景数据分析
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例,使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer,模拟应用中的关键页面,比如登 录、课程内容等,之后构造若干用户使用的模拟 日志数据,投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖(EMR+OSS)搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
如下图:需要安装python、git、nodejs等软件,具体安装步骤参见附件中的samplecode.txt 步骤3 修改nginx配置,打开/etc/nginx/nginx.conf,改为如下内容,参见附件中的 sample-nginx.conf 文档版本:20200331 34数据湖-在线学习场景数据分析 应用场景 步骤4 程序启动以后测试页面,在浏览器中打开 http://公网地址/app1/...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,E-MapReduce
EHPC药物筛选
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境,运行药物筛选应用AutodockVina 的场景中,这里采用批处理方式来提交 作业,并可以可视化计算结果。 方案架构 1.计算之前,将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时,将数据从OSS拉取到文件共享存储NAS上 3.计算时,在EHPC集群上进行,计算节点从NAS上读写数据 • 容量型NAS:低成本,大容量 • 性能型NAS:适合高IOPS应用,作为临时目录 • CPFS:适合超大规模,并行度极高的作业 4.计算节点: • 如果对计算时间不敏感,希望低成本运算,可选ECS实例 • 如果时效性要求高,建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大,可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接(moleculardocking)模拟计算进行药物筛选,是模拟小分子配体和生物大分子受体的 相互作用,预测配体和受体的结合模式和亲和力。 • 通常,有很多已有的配体库,如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体,模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体,不同配体之间没有依赖,因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
http://vina.scripps.edu/ Vina 使用 demo:http://vina.scripps.edu/tutorial.html 我们 EHPC 集 群 使 用 的 Linux CentOS 7.6 的 操 作 ,下 载 对 应 的 Vina 版 本:http://vina.scripps.edu/download/autodock_vina_1_1_2_linux_x86.tgz MGLTools 包括 AutoDock Tools(ADT)和 Python Molecular Viewer(PMV)。...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC
基于Flink的资讯场景实时数仓
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景,Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
每个过程又会涉及多个系统,如数据加工部分会涉及到数据通道类 (如阿里云消息队列 Kafka等);数据多维分析会涉及到 OLAP相关系统(如阿里 云分析型数据库等)。实时数仓的数据处理过程涉及到以下几个关键环节:1.数据产生:一般场景下,数据有两个来源:a)用户行为日志:如用户在 App上的操作会产生一系列日志,包括...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,NAT网关,云原生数据仓库AnalyticDB My,云速搭CADT
Oracle数据库与应用迁移PolarDB
Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库(Oracle兼容 版)。通过ADAM将Oracle数据库迁移到 PolarDB数据库,可以降低应用升级、运 维成本,同时提升系统弹性,实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云, 通过ADAM评估迁移工具,降低迁移 风险,提高迁移效率。 2.使用PolarDB(Oracle兼容版)数据 库,提升数据库并发读能力,降低运维 成本。 产品列表 数据库和应用迁移(ADAM) PolarDB(Oracle兼容版) 云服务器(ECS) 专有网络(VPC)
通过 ADAM将 Oracle数据库迁移到 PolarDB数据 库,可以降低应用升级、运维成本,同时提升 弹性,实现数据库及应用全栈上云。解决问题 1.解决 Oracle及其应用迁移上阿里云,通过 ADAM评估迁移工具,降低迁移风险,提高 迁移效率。2.使用 PolarDB(Oracle兼容版)数据库,提 升数据库并发读能力,降低运维成本。最佳实践...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库PolarDB,数据库和应用迁移 ADAM,云速搭
Openstack迁移DDH
Openstack迁移DDH
场景描述 在线下IDC中,很多用户使用OpenStack构建云环境,本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 迁移到阿里云专有宿主机(DDH)上,从而实现业务平滑 上云的同时,显著降低成本。 解决问题 1.如何将OpenStack中的云服务器迁移 DDH上。 2.如何使用DDH构建云上环境。 产品列表 专有宿主机DDH 对象存储OSS 服务器迁移中心SMC 专有网络VPC
镜像名称 cirros1 操作系统 Linux 系统盘大小(GiB)5 系统架构 x86_64 系统平台 OthersLinux 镜像格式 RAW 许可证类型 自动 镜像描述 自定义 文档版本:20200312(发布日期)55 Openstack迁移DDH 上传镜像并导入 等待导入进度为100%。文档版本:20200312(发布日期)56 Openstack迁移DDH 上传镜像并导入 文档版本:20200312...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,专有宿主机
金融行业从经典网络向VPC容器化改造
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤,可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
运维效率低 产品列表  专有网络VPC  容器服务Kubernetes版  日志服务SLS  云数据库RDS版  NAT网关  容器镜像服务ACR  云盘 产品版本:V1.0(软件版本)云服务器ECS(产品名称)文档模板(手册名称)/文档版本信息 文档版本:20190516(发布日期)阿里云 金融行业从经典网络向 VPC容器化改造 最佳实践 文档...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,容器服务 ACK,日志服务(SLS),容器镜像服务 ACR
部署Nginx并通过Ingress暴露和监控服务
在阿里云容器服务(后简称ACK)集群中通过YAML文件快速部署一个Nginx应用并通过Nginx Ingress暴露和监控服务,结合使用ACK、日志服务、专有网络搭建业务部署运维方案,具有集群快速创建、应用高效部署和业务运维简单的优势,适用于新兴互联网行业,转型的传统金融、物流等多行业。
在阿里云容器服务(后简称ACK)集群中通过YAML文件快速部署一个Nginx应用并通过Nginx Ingress暴露和监控服务,结合使用ACK、日志服务、专有网络搭建业务部署运维方案,具有集群快速创建、应用高效部署和业务运维简单的优势,适用于新兴互联网行业,转型的传统金融、物流等多行业。部署Nginx并通过Ingress暴露和监控服务 在...
容器场景下的应用性能监控、调用链拓扑、内存剖析
容器场景下的应用性能<em>监控</em>、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
容器场景下的应用性能监控、调用链拓扑、内存剖析 最佳实践 场景描述 业务架构 随着云原生及微服务技术的普及,越来越多的 已经通过云原生和微服务技术实现企业的降 本增效,同时因微服务及云原生的复杂性给系统 运维带来非常大的挑战,云原生应用监控arms 通过全链路应用监控,从端到端及代码级别的链 路下钻能力、CPU...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
您无需修改代码,只需为应用安装一个探针,ARMS就能够 对应用进行全方位监控,帮助您全面掌控应用运行状态,快速定位出错接口和 慢接口,洞察性能瓶颈,重现调用参数,从而大幅提升线上问题诊断的效率。 性能测试服务PTS:作为性能测试工具,性能测试PTS 支持按需发起压测任 务,可提供百万并发、千万TPS 流量发起能力,...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
可观测监控 Prometheus 版
覆盖业务自定义监控/应用组件监控/云服务监控/容器监控/系统监控等场景。默认集成Grafana看板与智能告警,全面优化系统可用性与查询能力,用户无需关注系统可用性与Exporter集成。帮助企业快速搭建一站式指标可观测体系。
可观测监控 Prometheus 版作为云原生指标监控平台,完整兼容 Prometheus 开源生态,为运维工程师、SRE工程师等不同角色提供一站式指标观测平台,满足业务自定义监控/应用组件监控/云服务监控/容器监控/系统监控等场景的监控、告警需求.可观测相关产品大促专场,限时立省千元.立即开通(每月 50GB 免费额度).频道页banner....
来自: 云产品
监控
云监控(CloudMonitor)是阿里云提供的一站式、全链路、开箱即用的云资源监控产品。涵盖云上云下统一的主机监控、百余款的云产品监控、覆盖全球的网络监控、面向应用和业务的日志监控和自定义监控,提供丰富的指标数据和强大开放的平台能力,第一时间发现和定位问题构建完善的监控运维体系。
这有助于您在服务上线初期快速构建面向基础设施的监控报警能力,既可以避免在人力资源紧张的情况下消耗时间成本专门自建和维护监控系统,又可以确保基础设施出现异常时被迅速知晓.开箱即用的监控视图.各云产品核心指标的监控图表且无需任何配置.丰富的报警通知方式.除了语音、短信、邮件、钉钉群外还可以推送到指定的...
来自: 云产品
基于ALB的统一流量调度和监控
基于ALB的统一流量调度和<em>监控</em>
企业在走向容器化过渡阶段,内部同时存在ECS应用和容器应用的情况,在多域名业务场景下,为了对应用的入方向流量进行统一的调度和监控,可通过ALB快速完成内部应用统一流量的管控。 典型场景 多域名转发到混合应用类型场景。 方案优势 1、 高弹性,高并发 2、 减少SLB+EIP数量 3、 一键WAF透明接入 4、 配置简单易上手 5、 统一流量运营分析
文档版本:20210915 49 PTS压测 基于 ALB统一流量调度和监控 5.PTS压测 本章节主要通过 PTS对 orders.api 和 users.api 应用进行流量推送,为后续 SLS 提供分析数据。步骤1 登录 PTS控制台(https://pts.console.aliyun.com/),若提示开通服务,单击确认。步骤2 重新进入 PTS控制台,若是新用户,系统提示如下优惠,请...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,容器服务 ACK,云效
宝—数字消防监控解决方案
打通消防“生命通道”。人工智能算法加持普通摄像头,智能识别消防通道占用、消控室人员离岗/睡岗等行为,通过钉钉15秒通知到责任人,杜绝隐患。
面向小镇重点区域16幢建筑及5个消值班室安装部署消宝视频监控设备,实现隐患快速识别定位,15秒内触达消防责任人,处置过程全程留痕可追溯。解决小镇日常消防隐患依赖人工巡查,效率低、响应慢的弊端,帮助小镇实现数字消防新模式的探索,实现防火、灭火从被动响应向主动预防转变。加入我们-title.唐家哲,靖鑫,也树.消...
来自: 解决方案
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用