基于MaxCompute的大数据BI分析
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
文档版本:20211213 1 基于 MaxCompute的大数据 BI分析 最佳实践概述 方案优势 以 Hologres+QuickBI快速实时数据分析的核心能力为切入点,将客户的业务 、日志数据引导至阿里云的日志服务和分析性数据库。融合阿里云的日志服务 SLS 的生态,增强用户体验(如无缝对接 Flink、Elasticsearch、RDS、Hologres、EMR、dataV ...
来自: 最佳实践 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
混合云存储构建VMware虚拟化平台
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台, 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
 高效:自动云分层,热数据存放在本地存储空间,确保了数据的高速访问,冷 放在云端,充分利用公共云存储的海量空间。云缓存功能确保当数据存放在云 端的时候,也能利用本地存储空间的缓存功能,为应用提供快速响应。 可靠:阿里云混合云存储阵列采用了全冗余的硬件设计,支持数据加密,集成 AD/LDAP,支持ACL,...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,访问控制,混合云存储阵列 Hybrid Cloud
音视频终端 SDK
音视频终端 SDK集成了阿里云视频直播和视频点播业务中拍摄、编辑、上传、推流和播放的核心能力,同时融合视频特效、音频特效等音视频AI能力,为用户提供一体化SDK,支持多终端接入,搭配产品级Demo,支持用户根据业务需求快速集成所需
支持主播与主播、主播与观众实时连麦、主播跨房间互动等多画面实时视频互动,并可将互动视频流推送至直播中心进行大规模分发,推送给未连麦的观众.直播推流与连麦互动.产品 Demo.快速上线短视频采集、制作和播放等必备功能,适用于娱乐、社交、教育、新闻资讯、电商等对短视频拍摄制作和多创意玩法有需求的场景.提供移动端...
来自: 云产品
基于SLS实现统一告警最佳实践
基于SLS实现统一告警最佳实践
告警对于企业的开发运维,安全运维,业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题,SLS告警提供了一站式云上告警管理方案,具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台,实现在SLS上一站式管理告警。
文档版本:20211021 30 基于 SLS实现统一告警最佳实践 配置自定义告警 步骤3 在弹出框的快速数据接入,选择 NGINX访问日志,单击“模拟”,进入模拟页面。注意:这里要单击“模拟”按钮,不要直接点整个方框。步骤4 进入 Nginx日志模拟接入页面,直接使用默认的配置,单击开始导入。文档版本:20211021 31 基于 SLS实现...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,弹性公网IP,日志服务(SLS),云速搭CADT
基于ECI+FaaS构建游戏战斗结算服
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中,为了防止客户端作弊,在每局战斗之后,在客户端预判玩家胜利的情况下,需要服务端来进行战斗数据的结算,从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型,结算系统每日需要大量的计算力,尤其是开服或者活动期间忽然涌入的大量玩家,导致需要的计算量瞬间几倍增长,同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出,快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容,化解算力瓶颈,平滑解决暴增调用请求。 2. 降低成本:ECI每天弹性运行8小时,与6代同规格包月相比节省成本40%+,FaaS按需付费,即开即用,节省预留资源消耗。 3. 免运维:FaaS和ECI都是全托管免运维的服务,客户专注业务开发即可。 4. 模块公共化:减轻游戏逻辑服的压力,结算需求复用到类似需求的游戏。
数据中心服务器负责缓存玩家数据并异步入库,保障玩家客户快速获 取和写入数据,对于可用性要求较高,需要配合应用层实现数据容错机制。日志服务 器承载了大区所有业务行为的日志收集及处理的压力,对磁盘写入性能要求较高,通 常采用多台分组方式实现。推荐参考实例选型:服务类别 推荐产品 网关服务器 g6e(六代增强型...
来自: 最佳实践 | 相关产品:容器服务 ACK,函数计算,弹性容器实例 ECI
微服务引擎的线上流量治理
微服务引擎的线上流量治理
随着业务不断创新,微服务架构及数字化转型不断落地,在这个过程中,大量企业采用了开源的组件构建了微服务,比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等,微服务的好处之一,在于快速迭代,如何在迭代过程中保障线上流量不受损? 开源产品无运维工具,常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架,实现业务零改造,解决开源框架在生产落地过程中的痛点,例如无损上下线、标签路由等,并通过托管微服务开源组件(API网关、注册中心、配置中心等)的服务,提供白屏化监控告警、容灾、宕机重启、扩缩容等能力,帮助企业释放业务无关的运维成本,聚焦业务本身的运维和发展。 方案优势 快速集成:通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维:托管微服务依赖开源中间件的服务,提供白屏化监控告警、容灾、宕机重启、扩缩容等能力,帮助我们客户释放业务无关的运维成本,聚焦自身业务本身的运维和发展。 开源增强:提供开源框架在生产落地过程中的痛点,例如应用无损上下线/金丝雀发布/南北+东西流量打通等,帮助客户的业务提高自身SLA和降低自研成本。
微服务引擎的线上流量治理 最佳实践 业务架构 背景描述 随着业务不断创新,微服务架构及数字化转型不 断落地,在这个过程,大量企业采用了开源的 组件构建了微服务,比如有开源微服务全家桶之 称的 Spring Cloud体系或 Apache Dubbo等,微服务的好处之一,在于快速迭代,如何在迭代 过程保障线上流量不受损?...
来自: 最佳实践 | 相关产品:容器服务 ACK,微服务引擎,云速搭CADT
混合云多云统一安全
混合云多云统一安全
场景描述 有些客户的业务系统部分上云、或者还没上 云,但想使用阿里云公共云的安全服务;或 者业务系统部署在多个云平台上,想使用阿 里云的安全来提供统一服务。 解决问题 1.通过阿里云的安全产品和服务,统一管理阿 里云、IDC和它云的资产; 2.满足混合云、多云的等保需求。 产品列表 云安全中心 堡垒机 数据库审计 高防IP Web应用防火墙 证书服务 日志服务 VPN网关
方案架构 不论是哪种混合云或多云的情况,都需要把 IDC与公共云、或两个公共云平台打通,即建立私连接,因为一般两个类数据中心之间不经由公网互通,主要是安全及可靠 性方面的考虑。如果客户有条件,一般都会拉专线来打通两个数据中心,这样延迟小、稳定性和安全 性高;如果客户业务要求不是很高,或者在验证测试,可以...
来自: 最佳实践 | 相关产品:日志服务(SLS),Web应用防火墙,数据库审计,堡垒机,SSL证书
Spring Cloud Netflix应用迁移EDAS
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务(SpringCloud Alibaba云版本)的方法, 迁移后充分利用阿里云监控、调用链、限流降级 等能力,优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务(EDAS)平台。 2.迁移到EDAS后,简化应用的运维,提升监 控、调用链探测、限流降级等管理能力,提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务(EDAS) 负载均衡(SLB) 专有网络(VPC) 云服务器(ECS)
use piggymetrics 在 mongo命令行,执行如下 PiggyMetrics项目的子模块 MongoDB的 account-service-dump.js的脚本。文档版本:20200106 25 Spring Cloud Netflix应用迁移 EDAS 搭建线下微服务应用环境 db.accounts.update({"_id":"demo"},{"_id":"demo","lastSeen":new Date(),"note":"demo note","expenses":[{"amount":...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,企业级分布式应用服务 EDAS
云上成本优化workshop
云上成本优化workshop
某金融科技公司,它主要提供信贷,理财,电商等 服务,目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后,今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障,运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务, 白天的催收非常依赖晚上大数据计算的结果,若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做,会对公司业务造成严重影响。 后来,通过阿里云解决方案架构师建议的方案,将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法,目前已阶段性的解决因资源不足导致弹性扩 容失败的问题,但该方案在 Spot 计算资源不足 时,启用大量按量收费算力,带来了较高的成本, 并且抢占式实例和按量付费实例都不保证资源 100%交付,还是存在交付失败的可能性,特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在,就进一步增加了弹性扩 容失败的风险,从而影响业务正常运行。
参考如上步骤 添加“月消费同比情况”图表 source:bill|select coalesce(cast(round(diff[1],2)as varchar),' 无 '),diff[2],round(diff[3]*100-100,2)from(select compare(this_month,2592000)as diff from(select this_month from(select sum(PretaxAmount)as"this_month"from log)))步骤1 在定义分析 SQL板块输入...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
EMR集群安全认证和授权管理 
EMR集群安全认证和授权管理 
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证,通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例,演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库,并 介绍在整个数据流程中,如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表:E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
提供 用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机 器 学 习 等 场 景 下 的 大 解 决 方 案。详 情 请 查 看 www.aliyun.com/product/emapreduce Kerberos:Kerberos是一种网络身份验证协议,它旨在通过使用密钥加密为客户 端/服务器应用程序提供强身份验证。它提供了网络上的身份...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,E-MapReduce
微服务应用问题定位及故障演练
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署, 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮, 容器编排配置是否合理, 以及节点故障引 发的问题等, 方案通过 AHAS 故障注入模拟生 产环境产生的故障, 通过 ARMS 及时发现问题、 定位问题, 并结合 ARMS 的告警功能快速发现 并解决问题。  发现调用下游一个服务实例出现异常。  发现业务 Pod 故障, 验证业务的稳定性。  发现调用数据库延迟故障, 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表  应用高可用服务 AHAS  性能测试 PTS  应用实时监控服务 ARMS  容器服务 kubernetes 版  负载均衡 SLB  专有网络 VPC  日志服务 SLS
步骤5 在 POD标签填写 io.kompose.service=notification-service(即 POD网络延时故障 注入到带有这个标签的 POD,这里选择 notification这个服务注入故障,也可以通 过 POD名称对单个 POD注入故障);排除探针使用的端口(9526,9527,9528),给 POD注入 2000毫秒延时,命名空间选择 POD部署的命名空间。文档版本:...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,应用实时监控服务 ARMS ,应用高可用服务 AHAS,云速搭
资源管理
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多,如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系,使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源,更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
基于地域维度划分 比如公司有杭州和北京 2个云上数据中心,将相同 region下的资源归属到同一 个资源组,分配不同的运维负责人。3:资源组创建之后,管理员 RAM用户可以在资源组下授权相关的 RAM用户,被授 权的 RAM用户可以在资源组内行使被赋予的权限。比如 RAM用户 Alice被授予资源 组前端 1组的 AdministratorAccess权限...
来自: 最佳实践 | 相关产品:资源管理
通过私访问云服务
通过私<em>网</em>访问云服务
使用PrivateLink就可以通过私网访问其他VPC提供的服务,无需创建NAT网关或EIP等公网出口,更好的保障安全性和网络质量。支持同账号和跨账号的VPC间私网访问。另外 私网调用阿里云OpenAPI也有两种可选方案
通过私访问云服务 最佳实践 场景描述 公网访问 VS 私访问 一般情况下,部署在阿里云 VPC A内的服务提 供方需要暴露公网访问入口,而 VPC B内的服 务使用方则通过公网路径访问 VPC A内的服务 提供方。但公网访问方式容易受到攻击,存在安 全隐患,且网络质量和时延无法得到可靠保障。若服务提供方和服务使用方所在的 VPC...
来自: 最佳实践 | 相关产品:云解析 PrivateZone,私网连接
云上持续审计合规最佳实践
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计,提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云,涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求,如等保2.0法规要求。 同时当云上资源达到一定规模时,在内部会制定合规管控的基线,满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志,还需依赖云平台提供的持续监控和自动告警能力,实现合规性的自主监管。
配置审计提供 的是持续风控的方案,企业除了最初“landing”在云上的一瞬间符合管理要求之外,在后续长达年的云上经营也必须时刻保证云上 IT的合规性,每一个不合规的 问题都可能是一个潜在的业务风险。文档日期:20210726 3 云上持续审计合规最佳实践 配置审计 2.配置审计 2.1.跨区域跨产品的云上资源概览 开通配置...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,函数计算,操作审计,配置审计
电商网站业务安全
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段,但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜,都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验,为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离,可以在自己创建的专有网络内创建和管理云产 品实例,比如 ECS、负载均衡、RDS等。在创建前,您需要结合具体业务,规划 VPC和交换机的数量及网段等。SLB:Server Load Balancer,简称 SLB。多台云服务器进行流量分发的负载均衡 服务,可以通过流量分发扩展...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,DDoS防护,风险识别,爬虫风险管理,云速搭CADT
中间件
阿里云中间件产品支撑了淘宝、天猫、盒马、菜鸟、高德等阿里巴巴集团核心业务,整合了阿里云计算、存储、网络等基础产品,服务百万企业与开发者,助力系统稳定高效运行。
轻松构建松耦合、分布式的事件驱动架构.Soul 云原生网关最佳实践.Soul 通过 MSE 云原生网关,将流量、安全、微服务网关三合一,大幅降低请求链路条、降低架构复杂度、运维和故障排查成本,例如降低整个链路 RT 峰值从 500ms 下降至峰值 50ms.微服务引擎 MSE.RocketMQ 助力编程猫构建稳定的业务系统.编程猫通过使用阿里云...
来自: 云产品
应用实时监控服务ARMS
作为云原生可观测平台,应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率,压降运维工作量。
实例监控展示了应用服务对应的实例副本监控信息,包括基础类监控信息,如请求、错误、平均耗时、实例、CPU 使用率和内存使用量,还支持丰富的网络性能监控信息。事件分析功能是基于已产生的告警事件明细数据,自由组合筛选条件进行实时分析,可以满足不同场景的自定义分析诊断需求。通过创建应用监控告警规则,您可以...
来自: 云产品
新零售商超基于Serverless服务化改造
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业,主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态,涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展,其在快速上云后,将核心业务改造为全Serverless架构的中台模式,采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心,弹性支撑日常和大促峰谷所需资源,轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构:FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用:毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维:函数式极简编程可专注于业务创新,无采购和部署成本、提供监控报警等完备的可观测能力。
新零售商超基于 Serverless服务化改造 部署架构 场景描述 某零售商超行业龙头企业,主要业务涵盖购物 、大卖场、综合超市、标准超市、精品超市、便 利店、无人值守智慧商店等零售业态,涉及全渠道 零售、仓储物流、餐饮、消费服务、数据服务、金 融业务、跨境贸易等领域。为了持续支持业务高速 且稳定地发展,其在快速...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,数据传输,函数计算,API网关,表格存储
容器多云统一监控日志
容器多云统一监控日志
多云、混合云成为常态,Forrester 报告中指出,未来 89% 的企业至少使用两个云,74% 的企业至少使用三个甚至更多公有云,在面对多云/混合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑战,本方案给出了在多云/混合云场景下,构建基于容器环境下的统一管理、统一监控和统一日志方案,解决多云、混合云场景下,运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)或者IDC基于容器(Kubernetes)运行业务系统,希望构建容器场景下的统一监控日志系统,方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统,在一个平台可以看到不同环境系统的运行情况。
容器多云统一监控日志 最佳实践 业务架构 场景描述 多云、混合云成为常态,Forrester报告指出,未来89%的企业至少使用两个云,74%的企业 至少使用三个甚至更多公有云,在面对多云/混 合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑 战,本方案给出了在多云/混合云场景下,构建 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,容器服务 ACK,日志服务(SLS),应用实时监控服务 ARMS ,微服务引擎
基于Fortinet的出海业务访问加速方案
基于Fortinet的出海业务访问加速方案
本方案基于CADT提供一个一键交付零配置的部署模板,帮助企业快速构建出海业务访问加速的环境。方案结合了Fortinet产品以及阿里云的ECS,BGP公网精品IP等产品,实现低成本的出海业务加速。
此方案的 Fortinet,ECS以包月方式购买,需要到订单中心进行退订后才能通过 CADT进行 一键释放。这里需要注意,如果通过 CADT创建的 VPC、VSWITCH人工通过其他方式添加 了资源,如通过控制台或者 API等购买了 ECS,释放时因为这些非 CADT部署的 资源会依赖 VSWITCH和 VPC,会出现释放失败。遇到这类问题请先去控制台...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭
< 1 2 3 4 ... 9 >
共有9页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用