Function Compute构建高弹性大数据采集系统
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游戏运营,产互行业中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点,给整个数据采集传输系统带来很大的挑战。在这个场景中,有三个关键的环节,数据采集、数据传输、数据处理。该最佳实践主要涉
yum-y install nodejs npm git 步骤2 使用 npm方式安装,非常的简单,一行命令搞定:npm install@alicloud/fun-g 如果以上命令较慢,可以指定国内的镜像地址来安装,使用如下命令:npm install@alicloud/fun-g-registry https://registry.npm.taobao.org/ 步骤3 安装完成之后。在控制终端输入 fun 命令可以查看版本信息:$...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),函数计算,消息队列 Kafka 版,云速搭CADT
云消息队列 MQTT 版
云消息队列 MQTT 版是专为移动互联网(MI)、物联网(IoT)领域设计的消息产品,覆盖直播互动、金融支付、智能餐饮、即时聊天、移动 Apps、智能设备、车联网等多种应用场景;通过对 MQTT、WebSocket 等协议的全面支持,连接端云之间的双向通信,实现 C2C、C2B、B2C 等业务场景之间的消息通信,可支撑千万级设备与消息并发。
兼容任何支持 MQTT 3.1.1 协议的 SDK,支持 Websocket 协议,覆盖绝大多数移动端开发平台及语言(JAVA、.NET、C++、PHP、iOS、Android、JavaScript、nodeJS、Go 等).可支撑千万级设备在线连接,百万级消息并发,万亿级消息流转,毫秒级消息推送;分布式理念进行设计,无单点瓶颈,各组件之间均可以无限水平扩展,确保容量...
来自: 云产品
数据湖-在线学习场景数据分析
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例,使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer,模拟应用中的关键页面,比如登 录、课程内容等,之后构造若干用户使用的模拟 日志数据,投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖(EMR+OSS)搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
新 3.33 文档版本:20200331 I数据湖-在线学习场景数据分析 前言 前言 概述 本实践以WebServer为例来模拟在线教育的应用场景,通过Nginx和Pythonflask 搭建WebServer,模拟应用中的关键页面,比如登录、课程内容等,之后构造若干使用的模拟日志数据,投递到数据湖进行分析后获取应用PV、UV、课程内容访问 排行等。...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,E-MapReduce
基于ECI+FaaS构建游戏战斗结算服
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中,为了防止客户端作弊,在每局战斗之后,在客户端预判玩家胜利的情况下,需要服务端来进行战斗数据的结算,从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型,结算系统每日需要大量的计算力,尤其是开服或者活动期间忽然涌入的大量玩家,导致需要的计算量瞬间几倍增长,同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出,快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容,化解算力瓶颈,平滑解决暴增调用请求。 2. 降低成本:ECI每天弹性运行8小时,与6代同规格包月相比节省成本40%+,FaaS按需付费,即开即用,节省预留资源消耗。 3. 免运维:FaaS和ECI都是全托管免运维的服务,客户专注业务开发即可。 4. 模块公共化:减轻游戏逻辑服的压力,结算需求复用到类似需求的游戏。
说明:运行环境选择 nodejs10,执行内存选择 1.5G(在弹性实例中,1.5G对应 1核 cpu 的能力,很多真实的游戏客户选择它来满足战斗结算服)、超时时间一般 设置为 10s 步骤6 函数实例类型,选择弹性实例(支持弹性实例\性能实例)。文档版本:20201127 10 基于ECI+FaaS构建游戏战斗结算服 游戏架构搭建篇 说明:由于性能实例...
来自: 最佳实践 | 相关产品:容器服务 ACK,函数计算,弹性容器实例 ECI
通过ES兼容接口方式使用Kibana访问SLS数据
通过ES兼容接口方式<em>使用</em>Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后,对SLS查询分析语法不太熟悉的客户,可以继续沿用原有的查询分析习惯,在不改变使用方式习惯的情况下,通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
解决问题  如何使用ACK部署Wordpress应用,并使 SLS采集容器日志到SLS  最大程度保障Elasticsearch查询分析方 案迁移SLS的平滑度; 降低将日志引擎从Elasticsearch切换为 日志服务的使用难度;产品列表  专有网络VPC  云服务器ECS  容器服务Kubernetes版  日志服务SLS  阿里云交换机 最佳实践频道 最佳...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
MSE网关使用JWT进行认证鉴权
MSE网关<em>使用</em>JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务,通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景,对于敏感的服务路由(可通过黑白名单方式配置)在网关层进行认证鉴权。
SAE能够让您免运维 IaaS和 K8s,秒级完 成从源代码、代码包、Docker镜像部署任意语言的在线应用(例如 Web、微服务、Job任务)到 SAE,并自动伸缩实例按使用量计费,开箱即日志、监控、负载 均衡等配套能力。云速搭 CADT(Cloud Architect Design Tools):是一款为上云应用提供自助式云 架构管理的产品,显著地降低应用...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎
限制企业仅使用已批准的云服务
客户使用资源目录集中管理云上账号,通过管控策略创建“只能使用批准的云服务”对应的Policy,实现企业在云上只能使用批准的云服务,从而规范用户使用云产品的行为。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台限制企业仅使用已批准的云服务方案介绍方案优势应用场景方案部署方案权益限制企业仅使用已批准的云服务客户使用资源目录集中管理云上账号,通过管控策略创建“只能使用批准的云服务”对应的Policy,将Policy绑定到资源目录的Root资源夹,则...
来自: 解决方案
RI和SCU全链路使用实践
RI和SCU全链路<em>使用</em>实践
场景描述 随着云计算的不断发展,更多的企业会使用云计算,且会有越来 越多的企业和用户开始重视云上使用成本。 其中计算和存储是云资源使用的主要服务之一。采用预留实例券 业务架构(RI)和存储容量单位包(SCU)可以帮助客户灵活的节省成本。 本文提供全链路使用实践,帮助客户快速验证云上服务,更合理 的使用RI/SCU。借助覆盖率指标和智能推荐,有效管理云上资 源成本。 用户价值 使用RI 和SCU,可以灵活抵扣相关资源。随时创建释放, 稳态业务资源效率提高。 一份RI 可以抵扣ECS+ACK+EMR+ECI 等服务,跨服务高 度灵活,无需再分开购买。 SCU可以跨可用区抵扣某个地域下所有类型的按量付费云 盘,简化购买与管理复杂度。 RI+SCU 大幅降低按量场景的计算和存储成本。 产品列表 专有网络VPC、容器服务Kubernetes 版ACK 云服务器ECS、预留实例券RI、存储容量单位包SCU
相比于随 ECS预付费实例购买 云盘的模式,存储容量单位包与按量付费云盘的组合使用,兼具性价比与资源使 的灵活性。详见:www.aliyun.com/product/scu 文档版本:20200608(发布日期)IV RI和SCU全链路使用实践 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.V 前置条件.1 1.实践概述.2 2.成本节省对比.6 2.1.业务...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,容器服务 ACK,存储容量单位包,预留实例券
混合云自有K8S弹性使用ECI
混合云自有K8S弹性<em>使用</em>ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构,自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下,自有K8S集群注册至ACK,实现云端纳管。纳管K8S集群部署Virtual Node,使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用,并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
本实践与阿里云 ACK官方使 的版本对齐,安装 Docker CE 19.03.5,K8S 1.16.10版本。以 node1为例,node2、node3、node4节点上都按以下步骤操作。操作步骤 步骤1 调整相关系统服务。1.禁用防火墙。systemctl stop firewalld&systemctl disable firewalld 2.确认 SELinux状态为关闭状态。sestatus 如 SELinux未关闭,使用...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,负载均衡 SLB,容器服务 ACK,访问控制,NAT网关,云企业网,容器镜像服务 ACR,弹性容器实例 ECI
混合云使用Ali-Perseus
混合云<em>使用</em>Ali-Perseus
场景描述 本文介绍了混合云场景中,自建 Kubernetes服务,线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具,并采用阿里云CPFS存储,运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC, 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
混合云使用飞天 AI加速工具 最佳实践 场景描述 部署架构 本文介绍了混合云场景中,自建 Kubernetes服务,线下集群+云上弹性扩 展阿里云 GPU服务实例+飞天 AI加速工 具,并采用阿里云 CPFS存储,运行 AI训 练+AI推理作业的操作步骤。解决问题 1.利用云企业网打通两个地域的 VPC,自建 Kubernetes集群 阿里云最佳实践分享群 ...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
基于湖仓一体架构<em>使用</em>MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象,Hive元数据存储在DLF,外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通,实现元数据统一。最后通过一个毒蘑菇的训练和预测demo,演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测实践 业务架构 场景描述 数据湖和数据仓库是当前大数据技术条件下构建分布式系 统的两种数据架构设计取向,数据湖偏向灵活性,数据仓 库侧重成本、性能、安全、治理等企业级特性。但是数据 湖和数据仓库的边界正在慢慢模糊,数据湖自身的治理能 力、数据仓库延伸到外部...
来自: 最佳实践 | 相关产品:对象存储 OSS,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,API网关,数据湖构建,云速搭
Node.js性能平台
Node.js 性能平台(Node.js Performance Platform)是阿里云面向中大型 Node.js 应用提供性能监控、安全提醒、故障排查、性能优化等服务的整体性解决方案。凭借对 Node.js 内核深入的理解,我们提供完善的工具链和服务,协助客户主动、快速发现和定位线上问题。
了解如何快速使用Node.js性能平台.更多问题交流讨论FAQ.来自阿里内部或客户的最佳实践.通过以应用为视角,以提供更贴合开发者和运维的使用习惯.应用视角,DevOps 优先.全兼容 Node.js,无需任何代码更改,即可提供深入内核的在线监控.深入底层的性能监控.提供实时诊断线上应用的能力,不停机即可得到真实性能剖析数据.实时...
来自: 云产品
< 1 >
共有1页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用