Kafka性能压测快速方案
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据,本方案可以快速构建测试的客户端(kafka官方的压测客户端)和不同的Kafka服务端( SSD云盘版、高效云盘、Serverless版三种实例),方便客户进行POC完成性能验证。
应用场景 有需要通过PoC得到Kafka产品性能实测数据 时可以本实践来快速完成环境搭建及性能测 试。解决问题 Kafka压测环境的快速构建 产品列表 Kafka官方压测客户端完成性能压测  专有网络VPC  云虚拟机ECS  弹性公网IP  消息队列Kafka版  消息队列KafkaSeverless版  云速搭CADT 最佳实践频道 ...
来自: 最佳实践 相关产品:云服务器ECS,弹性公网IP,消息队列 Kafka 版
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具,大幅提升数据分析和报表开发效率,一站式满足企业各种场景的数据分析和决策的诉求。
相关产品智能商业分析 Quick BI在线咨询可视化解决方案本方案通过对可视化分析、渲染流程进行标准化,拉齐不同系列图表统计/关系/表格等)、不同技术栈(G2/D3/L7 等)形成通用可视化底座,使得可视化图表/组件可以物料化的方式在仪表板、电子表格、大屏等应用系统中互通调用。并且建立了独立的分析层(联动/钻取/预测等...
来自: 云产品
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
计算服务 GraphCompute新一代一站式数据管理和分析平台,可帮助您轻松构建海量关系数据的应用服务。数据湖开源大数据平台 E-MapReduce免费试用云原生开源大数据平台,为客户提供简单易集成的 Hadoop、Hive、Spark、StarRocks、Presto 等开源大数据计算和存储引擎数据湖构建 Data Lake Formation作为云原生数据湖架构...
来自: 云产品
阿里云最佳实践离线大数据workshop
阿里云最佳实践离线大数据workshop
本最佳实践,首先搭建一个简化的电商 demo 系统,然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统,学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建,学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
因为原始数据是以年龄为维度,但是实际统计需要年龄段进行统计,比如10岁到 20岁,20岁到30岁等。所以要重新做一个“计算字段”要把年龄变成年龄段需要编写 一个表达式,该表达式语法完全遵循MySql的语法和函数。表达式如下:concat(floor([age]/10)*10,'到',floor([age]/10+1)*10-1,'岁')步骤5 单击保存,填写数据集...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
结构说明:步骤2 创建分布式,分布式本身并不存储数据,它基于本地里面的数据,提供一个分 布式访问数据的框架,比如这里的分布式 d_user_behavior_uv,它基于本地 user_behavior_uv_local,选择 Distrubted引擎,它后面的参数,依次是集群名、库 名、表名、数据分配方式。说明:创建分布式的 SQL语句,...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
可观测可视化 Grafana 版
可观测可视化 Grafana 版作为云原生数据可视化平台,为运维SRE、研发工程师、产品经理、市场营销等不同角色提供开箱即用的一站式可视化平台,满足运维监控、经营分析、汇报展示等不同场景的查询、可视化、告警需求。
提供开箱即的 Grafana 看板和告警服务,帮助企业快速搭建监测体系.可观测监控 Prometheus 版.包含前端监控、应用监控、云拨测等子产品。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率,压降运维工作量.应用实时监控服务 ARMS.支持按需发起...
来自: 云产品
云效效能洞察Insight
云效效能洞察Insight是阿里云旗下专业的交付过程监控和研发效能度量、分析平台。提供场景化的效能度量模版和丰富的效能指标,可视化研发效能状态,指导研发效能改进。
提供对需求、迭代、缺陷各个维度的协同管理以及相关的统计报告,让研发团队高效协作.云效项目协作.提供代码托管、智能评审、质量检测等功能,提供删库保护、外包管控等高级功能,实现安全、稳定、高效的研发生产.云效代码管理.提供灵活易用的持续集成、持续验证、持续发布功能,帮助企业高质量、高效率的交付业务.应用为...
来自: 云产品
云上成本优化workshop
云上成本优化workshop
某金融科技公司,它主要提供信贷,理财,电商等 服务,目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后,今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障,运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务, 白天的催收非常依赖晚上大数据计算的结果,若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做,会对公司业务造成严重影响。 后来,通过阿里云解决方案架构师建议的方案,将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法,目前已阶段性的解决因资源不足导致弹性扩 容失败的问题,但该方案在 Spot 计算资源不足 时,启用大量按量收费算力,带来了较高的成本, 并且抢占式实例和按量付费实例都不保证资源 100%交付,还是存在交付失败的可能性,特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在,就进一步增加了弹性扩 容失败的风险,从而影响业务正常运行。
相比于随包年包月 ECS实例 购买的云盘或者其他单一产品流量包,SCU可以与多种云产品搭配使用,兼具了 性 价 比 与 资 源 使 的 灵 活 性。详见:https://help.aliyun.com/document_detail/137896.htm 日志服务 SLS:日志服务(SLS)是云原生观测分析平台,为 Log/Metric/Trace等 数据提供大规模、低成本、实时平台化服务...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
电商网站数据埋点及分析
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师,基于业务需求(例如:CPC点击付费广 告中统计每一个广告位的点击次数),产品需求 (例如:推荐系统中推荐商品的曝光次数以及点 击的人数)对用户行为的每一个事件对应的位置 进行开发埋点,并通过SDK上报埋点的数据结 果,记录数据汇总后进行分析,推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
步骤2 点击“+”添加自定义需要分析的字段(即日志采集上来的字段),设置类型(bhv_value 需要累计,故设置为 doblue),设置别名(即 SQL查询时使用的字段),开启统计功 能。文档版本:20220127 XXII 电商网站数据埋点及分析 电商网站数据分析 5.2.使用 SQL进行数据分析 步骤1 本例需要分析仅 30天的收藏 top10商品,故...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),DataWorks,云速搭CADT
云数据库HBase
阿里云云数据库 HBase 版(ApsaraDB for HBase)是基于 Hadoop 且100%兼容HBase协议的高性能、可弹性伸缩、面向列的分布式数据库,轻松支持PB级大数据存储,满足千万级QPS高吞吐随机读写场景。
使用HBase来存储海量帖子.HBase内置MOB技术,支持小对象(1KB~10MB范围)数据,如图表,短视频,文档等高效处理。成功解决对象存储访问延迟,一次数据访问需要内部多次查询的问题,提供毫秒级处理时延的极速小对象处理.内置MOB技术,典型场景处理时延从10s降低到20ms,性能提升 500倍.支持过滤器Filter,以及结合phoneix...
来自: 云产品
阿里云时序时空数据库TSDB
时序时空数据库 ( Time Series and Spatial-Temporal Database , 简称 TSDB) 是一种集时序数据高效读写,压缩存储,实时计算能力为一体的数据库服务,可广泛应用于物联网和互联网领域,实现对设备及业务服务的实时监控,实时预测告警。
阿里云时间序列数据库(Lindorm Time Series Database,简称 TSDB)是云原生多模数据库Lindorm中负责时序数据处理的专用引擎,具有时序数据高并发写入,高压缩比存储,实时时序指标聚合、统计、预测及ML/AI计算等能力,可广泛应用于物联网、车联网、工业互联网和智能化运维等领域,能够支撑应用层实现对工业设备、汽车、终端、...
来自: 云产品
游戏数据运营融合分析
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户,无法 接受T+1延迟。 3.对数据成本有一定诉求的客户,希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析:依托ADB计算密集型实例, 秒级监控DAU等数据,为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析:打通结构化和非结构化 数据,支撑产品体验分析;广告买量投放效 果实时(分钟级)分析,渠道的评估更准确。 3.低成本:DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析,在满足各种分析场景需求的同时,有效 地降低的客户的总体使用成本。 4.学习成本低:DLA和ADB兼容标准SQL语 法,无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
快速分析哪个渠道是有效渠道,使每分钱都花在刀刃上:实时的分渠道数据 可以监测到不同渠道用户的增长、活跃、留存状况以及充值状况,更加全面、快速的分析出投资回报率,让开发者对渠道的评估更加准确。针对付费用户追踪分析,了解付费用户的习惯:针对付费用户群,通过简单易懂 的数据分析模型和图表,跟踪付费用户的...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,云原生数据仓库AnalyticDB My,数据湖分析,Quick BI
应用实时监控服务ARMS
作为云原生可观测平台,应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率,压降运维工作量。
提供线程粒度 CPU 耗时及每类线程数量统计,及时发现集群 CPU 使用率过高或大量慢方法等问题.应用的 Pod 情况,包括 CPU、物理内存、网络流量、网络数据包等信息.Arthas 诊断.针对 Java 应用,利用字节码增强技术,不重启 JVM 进程情况下,查看应用运行情况.将被识别且接入的应用服务进行统一展示,列表页支持展示语言、...
来自: 云产品
云上持续审计合规最佳实践
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计,提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云,涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求,如等保2.0法规要求。 同时当云上资源达到一定规模时,在内部会制定合规管控的基线,满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志,还需依赖云平台提供的持续监控和自动告警能力,实现合规性的自主监管。
文档日期:20210726 68 云上持续审计合规最佳实践 操作审计 生成的统计图表可以添加入仪表盘并设置告警。详细说明请参见:https://help.aliyun.com/document_detail/102530.html 步骤4 保存为快速查询。单击页面右上角的另存为快速查询,输入快速查询名称后,单击确定。说明:将日志另存为快速查询后,可以在日志服务控制台...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,函数计算,操作审计,配置审计
大数据workshop
大数据workshop
大数据workshop
订单省份分布 步骤1 首先删除原来的图表,添加饼图模块。文档版本:20210628(发布日期)75 阿里云最佳实践大数据 WorkShop 最佳实践项目实践 步骤2 修改主标题名称。步骤3 配置数据(order_id去重计数,order_status匹配为 commit)后保存,单击更新可 文档版本:20210628(发布日期)76 阿里云最佳实践大数据 WorkShop ...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库,掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建,用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
订单省份分布 步骤1 首先删除原来的图表,添加饼图模块。文档版本:20210803(发布日期)69阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 步骤2 修改主标题名称。步骤3 配置数据(order_id去重计数,order_status匹配为commit)后保存,单击更新可以 文档版本:20210803(发布日期)70阿里云最佳实践金融大数据...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
数据可视化DataV
数据可视化DataV是阿里云一款数据可视化应用搭建工具,旨让更多的人看到数据可视化的魅力,帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用,满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。
智能的AI可视化助手,智能AI助手能够迅速学习和识别信息图表、大屏截图、手绘草图等图像内容,匹配生成对应可视化内容,降低大屏构建门槛;人人可用的低代码系统,提供低代码蓝图编辑器,让初级开发人员也能快速上手交互开发,不仅降低可视化应用的构建门槛,并且便于业务理解,降低项目交接和维护成本;DataV-数据看板.RDS...
来自: 云产品
通过ES兼容接口方式使用Kibana访问SLS数据
通过ES兼容接口方式<em>使用</em>Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后,对SLS查询分析语法不太熟悉的客户,可以继续沿用原有的查询分析习惯,在不改变使用方式习惯的情况下,通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
解决问题  如何使用ACK部署Wordpress应用,并使 SLS采集容器日志到SLS  最大程度保障Elasticsearch查询分析方 案迁移SLS的平滑度; 降低将日志引擎从Elasticsearch切换为 日志服务的使用难度;产品列表  专有网络VPC  云服务器ECS  容器服务Kubernetes版  日志服务SLS  阿里云交换机 最佳实践频道 最佳...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
MSE网关使用JWT进行认证鉴权
MSE网关<em>使用</em>JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务,通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景,对于敏感的服务路由(可通过黑白名单方式配置)在网关层进行认证鉴权。
MSE云原生网关使用 JWT进行认证鉴权 场景描述 业务架构 MSE网关中调用外部的认证鉴权服务,通过 JWT 的方式进行全局认证鉴权。应用场景 对网关有认证鉴权安全需求的场景,对于敏感 的服务路由(可通过黑白名单方式配置)在网 关层进行认证鉴权。解决问题 MSE网关和认证鉴权服务的集成问题 产品列表 专有网络 VPC 传统负载...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎
限制企业仅使用已批准的云服务
客户使用资源目录集中管理云上账号,通过管控策略创建“只能使用批准的云服务”对应的Policy,实现企业在云上只能使用批准的云服务,从而规范用户使用云产品的行为。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台限制企业仅使用已批准的云服务方案介绍方案优势应用场景方案部署方案权益限制企业仅使用已批准的云服务客户使用资源目录集中管理云上账号,通过管控策略创建“只能使用批准的云服务”对应的Policy,将Policy绑定到资源目录的Root资源夹,则...
来自: 解决方案
< 1 2 >
共有2页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用