阿里云最佳实践离线大数据workshop
阿里云最佳实践离线大数据workshop
本最佳实践,首先搭建一个简化的电商 demo 系统,然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统,学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建,学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
商品订单详情表(order_detail)设计 如下是订单详情表(order_detail)的详细字段设计:标签 含义 文档版本:20210802(发布日期)6离线大数据分析WorkShop 最佳实践整体介绍 id 序号 order_id 订单编号 user_id 用户id sku_id 商品id sku_name 商品名称 order_price 商品价格 sku_num 商品数量 create_time 创建时间 1.4.4....
来自: 最佳实践 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
数据库异地灾备
数据库异地灾备
场景描述 适用于不满足于单地域,对数据可靠性 (RPO)和服务可用性(RTO)要求更高 的,希望防范断电、断网等机房故障,抵 御地震、台风等自然灾害,具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份,RPO达到秒级 2.表级恢复,故障恢复时间大大缩短 3.长期归档,自动管理备份生命周期 4.异地灾备,构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP(EIP) 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
CADT:云架构设计工具 CADT,是一款为上云应用提供自助式云架构管理的产品,显著地降低应用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模 板,同时也支持自助拖拽方式定义应用云上架构;支持较多阿里云服务的配置和 文档版本:20220207 III 数据库异地灾备 前言 管理。用户可以方便的对云上架构方案的成本、...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据管理,数据湖分析,数据库备份DBS,云速搭CADT
云数据库产品总览(瑶池)
阿里云提供完善的数据库解决方案,多款数据库产品,满足99%的业务场景,荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求;运维工作量大幅减少,让企业一站式享受数据上云及分布式架构的技术红利!
通过AnalyticDB MySQL实现上万TPS并发写、按需增减节点和TB级数据复杂查询秒级响应,助力广告业务精细化管理.RDS MySQL提供开箱即用、完善的监控、运维管控能力、限流、数据安全、API等能力,有效降低了孔网运维团队的运维成本,提升了数据库可用性,使我们可以专注于业务架构设计和维护。在数据库迁移上云阶段阿里云DTS...
来自: 云产品
基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
构建应用架构 步骤1 登录云架构设计工具 CADT 控制台。(https://bpstudio.console.aliyun.com)步骤2 单击新建>新建空白应用。步骤3 从快速创建下选择基础网络,并拖拽至右侧空白画布处。文档版本:20201224 9 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 步骤4 以同样方式,拖拽 ECS、EIP至架构图中,如下图...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
跨云迁移单写双读过渡架构
跨云迁移单写双读过渡架构
概述 在搬站场景下,涉及迁移跨度较长,在过渡阶段客户需要跨云访问,如何保障数据链路的高可用尤为关键,采用专线和公网双备的方案保障数据传输的高可用,也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 在迁移时间持续较长的情况下,使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证,保障迁移平滑过渡。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
有别于传统工具的繁复,PTS以互联网化的交互,提供性能测试、API调试和监 测等多种能力。自研和适配开源的功能都可以轻松模拟任意体量的用户访问业务 的场景,任务随时发起,免去繁琐的搭建和维护成本。更是紧密结合监控、流控等 兄弟产品提供一站式高可用能力,高效检验和管理业务性能。详见:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,数据传输,性能测试 PTS,云企业网,云速搭CADT
微服务引擎MSE
微服务引擎 MSE 面向业界注册配置中心、分布式协调、云原生网关、微服务治理和分布式任务调度等主流开源项目,提供商业版服务。
我们通过 MSE 云原生网关构建了零信任架构,无需重配 Nginx Ingress 规则即可平滑迁移,性能提升 90%,响应时间下降 50%,并大幅提升业务入口的稳定及安全性,高效支撑每日 1 亿+粉丝交互,4 万+线下门店、每月 3000 万+笔的移动支付需求.在技术方向上,我们倾向云原生的技术架构演进方向,将基于 ECS 自建的 Zookeeper ...
来自: 云产品
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫,如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题,阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建,有效助力疫情防。 方案优势: 1、性能优越:Ganos作为自研的时空数据库引擎,相比postgis性能更优秀。 2、安全稳定:故障自动切换自愈,资源隔离,多副本存储。 3、简单易用:开箱即用,兼容postgresql,打通quickbi快速搭建数据分析展示。 4、功能强大:相比postgis在时空模型上做了较多扩充,支持几何模型,栅格模型,网络模型,时空轨迹模型,点云模型,拓扑网络模型。
通过 ogr2ogr工具导入地理信息数据#文档版本:20210725 13 阿里云数据库快速搭建疫情分析系统最佳实践 环境配置 ogr2ogr-nln hk_tpu-nlt MultiPolygon-geomfield geom-f PostgreSQL PG:"dbname='ganos' host='xxxx.rwlb.polardb-pg-public.rds.aliyuncs.com' port='1921' user='xxx' password='xxx'" "hk_tpu_84.shp" 步骤5...
来自: 最佳实践 | 相关产品:云服务器ECS,访问控制,云数据库PolarDB,Quick BI
同地域跨可用区容灾
同地域跨可用区容灾
场景描述 面向阿里云公共云客户, 1.业务在同一个地域(Region) 2.应用已经无状态 3.在不大幅增加成本的情况下,希望获得支持业务的跨可用区(Zone)容灾能力 3.希望对整体的应用做容灾备份(简称容灾),而非单独的数据库或存储等 解决问题 提供云上高可用架构方案并提供可参考的跨可用区架构提供简单的容灾演练 产品列表 云服务器(ECS)、数据库(RDS)、专有络(VPC)、负载均衡(SLB)、消息队列(MQ)等
已经开通了如下服务:云服务器(ECS)服务负载均衡(SLB)服务云数据库(RDS)服务 专有网络(VPC)服务 电商网站(示例 Demo)容灾演练 runbook 概述:电商网站(Demo示例)环境云上资源规划:注:标红部分需换成自密码 大类 明细项 信息明细 说明 网络 网络类型 云上选择专有网络(VPC)以保障安 vpc 全性 网络规划 ...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,数据传输,访问控制
游戏数据运营融合分析
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户,无法 接受T+1延迟。 3.对数据成本有一定诉求的客户,希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析:依托ADB计算密集型实例, 秒级监控DAU等数据,为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析:打通结构化和非结构化 数据,支撑产品体验分析;广告买量投放效 果实时(分钟级)分析,渠道的评估更准确。 3.低成本:DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析,在满足各种分析场景需求的同时,有效 地降低的客户的总体使用成本。 4.学习成本低:DLA和ADB兼容标准SQL语 法,无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
游戏厂商对于渠道、用户和游戏表现的评估需要更加细化和 准确的数据的要求,希望利用优秀的数据分析工具来帮助团队更全面的分析市场和用 户的趋势,同时玩家的游戏行为和喜好也在慢慢变化,如何能够及时发现这些变化并 针对性地调整产品和游戏设计也是非常重要的,因此提出了如下业务要求:提供全面的游戏运营指标分析功能...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,云原生数据仓库AnalyticDB My,数据湖分析,Quick BI
智能外呼机器人
阿里云智能外呼机器人即通过业务的场景自动发起的电话外呼任务。支持灵活画布配置,精准语音识别、自然人声合成、丰富开放API。通过人与机器人的语音对话交互收集业务结果,并对数据加以统计处理,获取用户反馈,帮助客户轻松实现智能化外呼。能够降低呼叫中心人力外呼成本,提升信息筛选及反馈效率。
基于通义千问客服对话大模型,在企业服务用户的入口(如网站、APP、IM工具等)部署产品可提供7*24小时自助的咨询服务,SaaS化的管理系统,可上传文档、网页、高频问题、表格、多轮对话流程作为机器人知识源。产品提供完善的接口,企业可进行二次集成开发,借助智能化提升服务体验与效率.智能对话机器人.能实现从对话录音...
来自: 云产品
智能语音交互
阿里云智能语音交互(Intelligent Speech Interaction),提供语音识别、语音合成、自然语言理解等基础技术,应用于智能客服、智能质检、庭审实时记录、实时演讲字幕、访谈录音转写等场景。提供自学习平台等应用工具,辅助实现语音识别效果的定制优化。语音交互产品可进行公共云和私有化部署,在金融、保险、司法、电商等多个领域均有成功应用案例。
欢迎开启智能语音交互之旅.快速了解智能语音交互系列产品.了解丰富的智能语音交互 OpenAPI.智能语音交互服务等级协议.语音识别可提供所需场景的音频及标注文件,定制专属识别模型,进一步提升识别准确率。语音合成支持定制各种类型的男/女/童声,或学习说话人声音,可用于客服、阅读、虚拟人等场景.定制识别及发音.管控台...
来自: 云产品
开发工具
阿里云提供一系列开发工具帮助你更快捷、高效地开发与运维。通过云效、API等助力创新创业和数字化转型企业快速实现研发敏捷和组织敏捷。
提供API托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等API各个生命周期阶段.API 网关.网络安全升级支持IPV6.天弘基金成立于2004年11月8日,是经中国证监会批准设立的全国性公募基金管理公司之一,目前注册资本5.143亿元。2013年,天弘基金与支付宝合作推出余额宝,是天弘余额宝货币市场基金管理...
来自: 云产品
云上公网架构设计和安全管理
云上公网的设计可以帮助企业更加统一、安全地管理自己的云上互联网出入口,同时可以实现统一监控运维和公网的成本优化。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云上公网架构设计和安全管理方案介绍方案优势应用场景方案部署方案权益云上公网架构设计和安全管理随着企业业务云化进程逐渐进入深水区,简单地使用云上资源出入公网已经无法满足业务的诉求,安全、成本、权限、监控等诉求的迭代,需要企业...
来自: 解决方案
跨境电商语言工具
跨境电商语言工具集成阿里云达摩院先进的NLP技术及海量电商领域双语语料,为跨境贸易平台及商家沉淀一套完整的全链路商品信息语言翻译及标题优化工具
图片翻译全新上线!支持通用、电商、证件类图片翻译,可在线编辑.专业版翻译引擎聚焦电商、医疗、社交3大...以“让商业没有语言障碍”为使命,十年深耕电商场景,为跨境贸易平台及商家沉淀一套完整的全链路语言翻译及优化工具,覆盖应用国际化、网站拉新引流、到站搜索、购买转化、物流通关、留存复购等环节.跨境电商语言工具.
来自: 云产品
Cloud Toolkit阿里云开发者插件工具
Cloud Toolkit - 阿里云集开发、测试、诊断、部署为一体的免费本地多IDE插件,帮助开发者真正实现任意服务器或 ECS、EDAS、Kubernetes、SAE、函数计算等一键式研发部署,支持Java规约、高效执行终端命令和 SQL等常见工具,研发速度提升8倍以上,大幅降低研发成本。
支持标准 SSH 协议,无需在一系列运维工具之间切换,只需在图形界面上选择目标服务器,即可实现应用快速部署.部署到任意服务器/ECS.针对阿里云 EDAS 开发者,可以将本地代码和云端应用进行关联,实现自动化的部署.部署到 EDAS.针对阿里云 SAE 开发者,可以将应用快速部署到 SAE,适用于快速迭代更新应用的场景.部署到 SAE....
来自: 云产品
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用