数据湖-在线学习场景数据分析
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例,使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer,模拟应用中的关键页面,比如登 录、课程内容等,之后构造若干用户使用的模拟 日志数据,投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖(EMR+OSS)搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
步骤3 ssh 登 录 到 EMR Hadoop 的 master 节 点 修 改 flume 的 文 件/usr/lib/flume-current/conf/flume-k2hadoop.conf(配置文件可以在附件中下载):文档版本:20200331 48数据湖-在线学习场景数据分析 应用场景 启动flume,执行命令:flume-ng agent-conf/usr/lib/flume-current/conf/-name a1-conf-file/usr/...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,E-MapReduce
Function Compute构建高弹性大数据采集系统
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游戏运营,产互行业中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点,给整个数据采集传输系统带来很大的挑战。在这个场景中,有三个关键的环节,数据采集、数据传输、数据处理。该最佳实践主要涉
(https://common-buy.aliyun.com)步骤2 从左侧导航栏选择创建场景>创建 PTS场景,在创建 PTS场景页面,完成以下 :填写场景名称,这里是 dataCollector 打开场景配置页签,填写 API 名称为 fun01 文档版本:20210806(发布日期)51 Function Compute构建高弹性大数据采集系统 性能压测 单击 GET,进入如下页面:请求...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),函数计算,消息队列 Kafka 版,云速搭CADT
基于ECI+FaaS构建游戏战斗结算服
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中,为了防止客户端作弊,在每局战斗之后,在客户端预判玩家胜利的情况下,需要服务端来进行战斗数据的结算,从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型,结算系统每日需要大量的计算力,尤其是开服或者活动期间忽然涌入的大量玩家,导致需要的计算量瞬间几倍增长,同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出,快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容,化解算力瓶颈,平滑解决暴增调用请求。 2. 降低成本:ECI每天弹性运行8小时,与6代同规格包月相比节省成本40%+,FaaS按需付费,即开即用,节省预留资源消耗。 3. 免运维:FaaS和ECI都是全托管免运维的服务,客户专注业务开发即可。 4. 模块公共化:减轻游戏逻辑服的压力,结算需求复用到类似需求的游戏。
说明:运行环境选择 nodejs10,执行内存选择 1.5G(在弹性实例中,1.5G对应 1核 cpu 的能力,很多真实的游戏客户选择它来满足战斗结算服)、超时时间一般 设置为 10s 步骤6 函数实例类型,选择弹性实例(支持弹性实例\性能实例)。文档版本:20201127 10 基于ECI+FaaS构建游戏战斗结算服 游戏架构搭建篇 说明:由于性能实例...
来自: 最佳实践 | 相关产品:容器服务 ACK,函数计算,弹性容器实例 ECI
云消息队列 MQTT 版
云消息队列 MQTT 版是专为移动互联网(MI)、物联网(IoT)领域设计的消息产品,覆盖直播互动、金融支付、智能餐饮、即时聊天、移动 Apps、智能设备、车联网等多种应用场景;通过对 MQTT、WebSocket 等协议的全面支持,连接端云之间的双向通信,实现 C2C、C2B、B2C 等业务场景之间的消息通信,可支撑千万级设备与消息并发。
兼容任何支持 MQTT 3.1.1 协议的 SDK,支持 Websocket 协议,覆盖绝大多数移动端开发平台及语言(JAVA、.NET、C++、PHP、iOS、Android、JavaScript、nodeJS、Go 等).可支撑千万级设备在线连接,百万级消息并发,万亿级消息流转,毫秒级消息推送;分布式理念进行设计,无单点瓶颈,各组件之间均可以无限水平扩展,确保容量...
来自: 云产品
企业多账号配置统一合规审计
面向企业的各中心管理团队提供一种面向多账号的合规管理方案。从上而下的实施统一的合规基线并强制管理,可中心化的持续监测所有业务的合规状态。提升中心管理团队工作的可见性可控性,切实起到监管效力,规避潜在风险。
相关产品资源管理配置审计云服务器 ECS云企业网 CENWeb应用防火墙 WAF对象存储 OSS在线咨询方案优势持续的合规审计配置审计为您持续监控资源的配置变更,并在变更时自动触发合规评估,为您实现合规性的自主监管。丰富的预置模板您可以根据自身要求启动相应的合规项,配置审计将对目标资源进行持续检测,并通过修正模板对不...
来自: 解决方案
配置审计
配置审计(Config)是阿里云上IT系统治理服务。将您分散在各地域的资源整合为全局资源列表,您可以便捷地搜索全局资源。同时Config帮助您记录云上IT资源的配置变更历史,持续自动地评估云上资源配置的合规性,实现云上IT合规治理。
记录每次配置变更的详情快照,同 时记录下关联的操作记录,行为与 结果相结合,更好地支持问题排查.配置变更与操作记录打通.持续监控资源配置的变更,并在变更时自动触发合规评 估,实现合规性的自主监管.持续的合规监控.解读等保 2.0 条例在云上 的实施方案,并支持一键 预检云上系统合规现状.云上系统等保2.0预检.云上...
来自: 云产品
应用配置服务
应用配置管理(Application Configuration Manangement,简称 ACM),是一款在分布式架构环境中对应用配置进行集中管理和推送的工具类产品。基于该产品,您可以在微服务、DevOps、大数据等场景下极大地减轻配置管理的工作量,增强配置管理的服务能力。
如何在阿里云上安全的存放您的配置.深入浅出应用配置中心五大场景.听阿里老司机讲述 现代应用架构中的配置中心之道.查看全部日志>.让应用代码、运行环境与敏感信息分离,并通过加密配置,最大限度保证配置信息安全性.配置存放安全合规.支持配置变更监听,大规模分布式环境下配置变更推送秒级完成,配置保证最终一致.配置...
来自: 云产品
注册配置中心
注册配置相比开源版,Nacos 和 Zookeeper 商业版具有更强的性能和 SLA 保障,并提供了丰富完善的监控报警、简单易用的控制台运维操作。
我们通过 MSE 云原生网关构建了零信任架构,无需重 Nginx Ingress 规则即可平滑迁移,性能提升 90%,响应时间下降 50%,并大幅提升业务入口的稳定及安全性,高效支撑每日 1 亿+粉丝交互,4 万+线下门店、每月 3000 万+笔的移动支付需求.我们通过 MSE 云原生网关,将流量、安全、微服务网关三合一,大幅降低请求链路条数、...
来自: 云产品
企业构建统一CMDB数据源
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台,对接数十款产品的API,拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理,需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递,将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档,使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据,在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据,实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听,及时感知云上资源的增删改,洞察异常变更。
配置审计定义 配置审计(Config)是一项资源审计服务,提供面向资源的配置历史追踪、配置合规 审计等能力,面对大量资源,帮您轻松实现基础设施的自主监管,确保持续性合规。更多信息请参考 https://help.aliyun.com/document_detail/127388.html 3.2. 创建账号组 默认状态下,配置审计覆盖当前登录账号的所有资源。在资源...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),配置审计
云上持续审计合规最佳实践
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计,提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云,涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求,如等保2.0法规要求。 同时当云上资源达到一定规模时,在内部会制定合规管控的基线,满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志,还需依赖云平台提供的持续监控和自动告警能力,实现合规性的自主监管。
步骤1 登 录 审 计 控 制 台,打 开 合规包 页面(https://config.console.aliyun.com/compliancePack/- ),选择账号组当前账号,单击 启用合规包。文档日期:20210726 13 云上持续审计合规最佳实践 使用模板创建审计规则 步骤2 找到网络合规管理最佳实践,单击使用。步骤3 确认规则基线,单击启用合规包。在该合规...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,函数计算,操作审计,配置审计
云上IT治理workshop
云上IT治理workshop
假设您负责假设您负责一家集团公司的IT 基础设施,集团 旗下有多个分公司(如制造分公司和销售分公 司),各分公司有独立的开发、测试以及运维团 队。现在选择阿里云作为合作伙伴,拟达到以下 业务目标: 1. 各个分公司拥有独立的账号,可以购买云资 源,由集团账号统一付费。 2. 集团对各个分公司的账号以及权限拥有管理 权限。 3. 网络资源由独立的平台账号统一规划和创 建,分配给各个公司使用。 4. 集团对分公司账号具有配置管理和操作审计 权限。 5. 各分公司内部独立管理账号权限以及资源。
配置审计 配置审计(Config)是一项资源审计服务,提供面向资源的配置历史追踪、配置合规审 计等能力,面对大量资源,帮您轻松实现基础设施的自主监管,确保持续性合规。更 多信息请参考 https://help.aliyun.com/document_detail/127388.html 本章节通过企业管理账号创建一个简单的配置审计规则:成员账号创建的资源(专有...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,访问控制,操作审计,资源管理,配置审计
多账号下企业分账
多账号下企业分账
场景描述 财务分账,是根据企业的成本中心,将云上资源的成本划分到给各个项目组/业务部门;助力企业快速梳理云上成本结构,搭建复杂组织架构下的成本关系,便捷地进行财务和云上成本的管理。 大型企业或集团公司,由于组织架构复杂,业务复杂等原因,通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源,如何建立有效的分账方案,是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理,IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况,清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
组 高可用 是-部署方式 2 master-实例选型配置 实例组:Master实例-文档版本:20210128 36 多账号下企业分账最佳实践 资源规划清单 实例数量:2 当前机型:ecs.g6.xlarge(4c 16g)系统盘配置:cloud_essd 系统盘大小:120 数据盘配置:cloud_essd 数据盘大小:80 实例组:Core实例-实例数量:2 当前机型:ecs.g6.xlarge...
来自: 最佳实践 | 相关产品:资源管理,配置审计,云速搭CADT
Node.js性能平台
Node.js 性能平台(Node.js Performance Platform)是阿里云面向中大型 Node.js 应用提供性能监控、安全提醒、故障排查、性能优化等服务的整体性解决方案。凭借对 Node.js 内核深入的理解,我们提供完善的工具链和服务,协助客户主动、快速发现和定位线上问题。
查看全部产品.Node.js 性能平台(Node.js Performance Platform)是面向中大型 Node.js 应用提供性能监控、安全提醒、故障排查、性能优化等服务的整体性解决方案。凭借对 Node.js 内核深入的理解,我们提供完善的工具链和服务,协助客户主动、快速发现和定位线上问题.Node.js 性能平台.查看全部日志.查看Node.js性能平台...
来自: 云产品
< 1 >
共有1页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用