基于MaxCompute的大数据BI分析
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
文档版本:20211213 1 基于 MaxCompute的大数据 BI分析 最佳实践概述 方案优势 以 Hologres+QuickBI快速实时数据分析的核心能力为切入点,将客户的业务 、日志数据引导至阿里云的日志服务和分析性数据库。融合阿里云的日志服务 SLS 的生态,增强用户体验(如无缝对接 Flink、Elasticsearch、RDS、Hologres、EMR、dataV ...
来自: 最佳实践 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
智能开放搜索 OpenSearch
阿里云智能开放搜索 OpenSearch是阿里自主研发的大规模分布式搜索引擎搭建的一站式智能搜索业务开发平台,内置全链路搜索功能,提供一站式、场景化的行业大数据解决方案。
针对企业内部知识、智能客服、电商导购、课程助手等场景,提供检索增强生成(RAG)服务.升级原有搜索系统,提供更加安全、准确、优质的对话搜索服务.企业专属对话搜索.pdf、doc、excel、网页、表格等多样化数据格式支持.多数据格式支持.支持对话结果、参考链接、参考图片等多种结果形式.检索增强生成.一站端到端...
来自: 云产品
可观测链路 OpenTelemetry 版
针对 PHP、C++、Go、Node.js 等多语言应用,提供端到端全链路追踪、应用监控与告警、链路拓扑、日志关联分析能力,并基于 OpenTelemetry 开源标准,兼容 Jaeger、Zipkin、SkyWalking 等开源项目数据上报。快速发现分布式应用架构下的性能瓶颈,缩短错/慢调用根因定位耗时,提高全栈开发与诊断效率。
相较于开源自,大幅降低搭建耗时与运维成本;按量付费,免去固定资源成本担忧.大幅降低资源与人力成本.基于 OpenTelemetry 标准,全面兼容各类开源生态,包括 Jaeger、Zipkin、SkyWalking 等。支持 Java、Go、Python、Node.js、.NET、PHP等 10+种语言接入,并提供全流程接入文档与 Demo.多语言应用接入.支持在多语言 SDK ...
来自: 云产品
新零售商超基于Serverless服务化改造
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业,主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态,涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展,其在快速上云后,将核心业务改造为全Serverless架构的中台模式,采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心,弹性支撑日常和大促峰谷所需资源,轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构:FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用:毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维:函数式极简编程可专注于业务创新,无采购和部署成本、提供监控报警等完备的可观测能力。
比如数据是否要做到无状态,无状态的话水平 文档版本:20210519 3 新零售商超基于 Serverless服务化改造 前置条件 扩展会比较容易,而如果是有状态,数据可能就需要做缓存,这就会涉及到 据库相关的问题,例如数据过期、一致性等。如果对这些了解不够透彻,做水 平扩展就会比较困难。ᅳ 水位监控 许多开发者在水位监控上...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,数据传输,函数计算,API网关,表格存储
专有云企业版
阿里云专有云企业版是面向政企客户的全栈云平台,可一键式弹性扩展至公共云,提供不同应用场景需求下的混合云方案,支撑企业级核心应用平滑上云。
企业版集成数据库多种引擎,数据库生态工具、数据库自治服务等产品,为政企客户数据库上云提供各种方案,如传统商业数据库向云数据库升级,为政企构建数据中台等.关系型数据库RDS,主备实例高可用,支持跨可用区与跨地域部署,三节点架构保证RPO=0;关系型数据库PolarDB-O,提供ADAM迁移评估工具,存储计算分离架构,为用户...
来自: 云产品
小型互联网迁移阿里云
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业,从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节, 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器(ECS)、迁云工具(SMC)、数据库 (RDS)、数据库(Redis)、数据传输(DTS)、 负载均衡(SLB)、专有络(VPC)等
如果 binlog没有打开,那么需要修改源 据库配置文件中的 log_bin,开启二进制日志 log_bin=mysql_bin。配置完成后重启源 数据库,参考 MySQL,重新进行预检查。访问数据库:mysql-h-P 3306-u admin-p 输入密码:show global variables like"log_bin;文档日期:20200114 30 小型互联网迁移上阿里云最佳实践 数据迁移准备 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS
云上持续审计合规最佳实践
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计,提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云,涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求,如等保2.0法规要求。 同时当云上资源达到一定规模时,在内部会制定合规管控的基线,满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志,还需依赖云平台提供的持续监控和自动告警能力,实现合规性的自主监管。
基于阿里云分布式文件系统和 SSD盘高性能存储,RDS支 持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎,提供了容灾、备份、恢复、监控、迁移等方面全套解决方案,彻底解决数据库运维烦恼。详见:https://www.aliyun.com/product/rds/mysql 文档日期:20210726 V 云上持续审计合规最佳实践 目录 目录 文档版本信息.I ...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,函数计算,操作审计,配置审计
可观测可视化 Grafana 版
可观测可视化 Grafana 版作为云原生数据可视化平台,为运维SRE、研发工程师、产品经理、市场营销等不同角色提供开箱即用的一站式可视化平台,满足运维监控、经营分析、汇报展示等不同场景的查询、可视化、告警需求。
作为云原生数据可视化平台,可观测可视化 Grafana 版为运维SRE、研发工程师等不同角色提供一站可视化平台,满足运维监控、经营分析、汇报展示等不同场景的数据查询、可视化、告警需求.Demo展示.可观测可视化 Grafana 版.更多产品与服务.ARMS应用监控-每月50GB免费额度,满足分布式应用监控与链路追踪需求.ARMS云拨测-每月...
来自: 云产品
保险上云解决方案
保险上云解决方案解决保险基础设施上云底层设计,核心系统分布式架构,业务数据化,运营数字化的全方位解决方案。支撑保险行业数据智能、业务敏捷、数据安全,和人工智能技术服务能力。
长安保险仅用5个月时间就把除核心数据库外的所有系统搬站上云,基本消除了自机房,同时也用云计算实现了同城双活和异地灾备,是采用混合云架构数据中心的典型案例.全系统上云,建设成本从千万降低到百万,且完全符合监管要求;搭建互联网金融的技术平台和利用数据计算助力互联网保险和科技保险的发展;从业务、技术和...
来自: 解决方案
综合能源服务平台解决方案
阿里云综合能源服务平台解决方案以“厚平台、微应用”方式构建面向竞争性综合能源服务的业务中台,快速构建节电节能、电力需求侧、电务、能效管理、储能、微网一体化和能源电力交易等生态化应用。
云原生分布式数据库 PolarDB-X.提供安全可靠的设备连接通信能力,帮助用户将海量设备数据采集上云,实现远程控制海量设备的目的.物联网设备接入.提供应用开发、部署、监控、运维等解决方案,同时支持Dubbo等微服务运行环境,助力各类应用轻松上云.企业级分布式应用服务EDAS.宜是一种面向业务开发者的低代码业务应用搭建...
来自: 解决方案
DTS数据同步集成MaxCompute数仓
DTS数据同步集成MaxCompute数仓
场景描述 本文Step by Step介绍了通过数据传输服务 DTS实现从云数据库RDS到MaxCompute的 数据同步集成,并介绍如何使用DTS和 MaxCompute数仓联合实现数据ETL幂等和数 据生命周期快速回溯。 解决问题 1.实现大数据实时同步集成。 2.实现数据ETL幂等。 3.实现数据生命周期快速回溯。 产品列表 MaxCompute 数据传输服务DTS DataWorks 云数据库RDS MySQL 版
数据抽取不幂等或容错率低,如凌晨 0:00启动的 ETL任务因为各种原因(数据库 HA切换、网络抖动或 MAXC写入失败等)失败后,再次抽取无法获取 0:00时的 状态。2.针对不规范设计表,如没有 create_time/update_time的历史遗留表,传统 ETL需 全量抽取。3.实时性差,抽取数据+重试任务往往需要 1-3小时。另外数据库的数据...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,数据传输,DataWorks,大数据计算服务 MaxCompute
高性能计算存储解决方案
基于阿里云强大的存储产品能力,助力AI、基因、自动驾驶、天文和能源等行业打造高性能计算平台。
弹性高性能计算(E-HPC)基于阿里云基础设施,为用户提供一站公共云 HPC/AI 平台服务,面向科研,生产,教育和行业大计算,提供快捷,弹性,安全和与阿里云产品互通的云超算平台.弹性高性能计算 E-HPC.海量、安全、低成本、高可靠的云存储服务,提供99.9999999999%的数据可靠性。使用 RESTful API 可以在互联网任何位置...
来自: 解决方案
金融行业云解决方案
阿里金融云,专注于服务银行、证券、保险、基金等金融机构,采用独立机房集群,提供满足监管要求的各类云产品及服务,专注行业特性,打造高安全、高可用、高效能的金融云解决方案保障。
长安保险仅用5个月时间就把除核心数据库外的所有系统搬站上云,基本消除了自机房,同时也用云计算实现了同城双活和异地灾备。是采用混合云架构数据中心的首个案例.注册实名认证.受安全合规要求,您需要完成企业实名认证,方可正常开通和使用金融云.申请金融云认证.立即认证,申请认证成为金融云用户,认证提交后,我们会...
来自: 解决方案
业务多活容灾解决方案
业务多活,英文Multi-Site High Availability,顾名思义就是业务分布在多个站点且同时对外提供 服务。与传统的灾备的最主要区别就是"多活 "里的所有站点同时在对外提供服务,不仅解决了容灾本身问题,提升了业务连续性,并且实现了容量的异地扩展。
消息队列 RocketMQ 是一款具备低延迟、高并发、高可用、高可靠的分布式消息中间件.PolarDB-X 是阿里巴巴集团自主研发的分布式数据库中间件产品,专注于解决单机关系型数据库扩展性问题.数据传输服务支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输.数据传输服务.MySQL 是全球最受欢迎的开源数据库之一,广泛...
来自: 解决方案
性能测试PTS
阿里云性能测试PTS可轻松模拟任意体量的用户访问业务的场景。任务随时发起,免去繁琐的搭建和维护成本。是活动大促、产品交付、版本迭代、系统维护不可缺少的性能优化工具。
作为云原生的运维数据可视化平台,面向用户提供免运维和快速启动 Grafana 运行环境的能力,默认集成如数据库 MySQL、消息队列 RockteMQ、实时计算 Flink、Elasticsearch、可观测监控 Prometheus 版、日志服务SLS等各类阿里云服务数据源,并提供丰富的数据看板,让运维监控更加高效、精细.可观测可视化 Grafana 版.支持浏览...
来自: 云产品
跨云迁移单写双读过渡架构
跨云迁移单写双读过渡架构
概述 在搬站场景下,涉及迁移跨度较长,在过渡阶段客户需要跨云访问,如何保障数据链路的高可用尤为关键,采用专线和公网双备的方案保障数据传输的高可用,也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 在迁移时间持续较长的情况下,使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证,保障迁移平滑过渡。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
文档版本:20201209 7 跨云迁移单写双读过渡架构 基础环境搭建 步骤5 安装数据库网关 agent(本方案为了节约测试资源,把数据库网关安装在一台服务器 文档版本:20201209 8 跨云迁移单写双读过渡架构 基础环境搭建 上,正式使用可以新建三台 ECS部署数据库网关 agent,进行高可用部署避免单点故 障)。步骤6 找到深圳地域的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,数据传输,性能测试 PTS,云企业网,云速搭CADT
阿里云最佳实践离线大数据workshop
阿里云最佳实践离线大数据workshop
本最佳实践,首先搭建一个简化的电商 demo 系统,然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统,学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建,学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
MaxCompute向用户提供了完善的数据导入方 案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有 效 降 低 企 业 成 本,并 保 障 安 全。详 见:https://help.aliyun.com/product/27797.html  Dataworks:DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引 文档版本:20210802(发布...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
迁移与运维管理
阿里云提供一系列的运维管理工具:日志服务SLS、云治理中心等帮助你自动化的开发和运维,能够更加轻松控制云基础产品与基础设施。
查看阿里云所有产品.阿里云提供一系列运维管理工具帮助用户实现简化、自动...通过使用阿里云HBR实现了ECS上自建数据库的统一备份.金融行业灾备压力大?中和农信如何应对.将操作审计与费用中心相结合,易点天下实现实时自动化地标签和资源组设置,并建立基于标签的和资源组的高效账体系.易点天下实现基于标签的自动账体系.
来自: 云产品
基于链路追踪+ECI的流量洪峰应对
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受,对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量,因此对于系统的稳定性非常关注,结合阿里云的容器服务、链路追踪、弹性容器ECI等产品,帮助客户业务实现容器化改造,并且方便发现系统应用架构中的瓶颈等问题,实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ᅳ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ᅳ 运维研发效率提高,链路追踪服务端全托管,免运维。 ᅳ 链路追踪的应用调用链分析能力结合ECI高弹性能力,提升应用系统在洪峰流量冲击下的稳定性。 ᅳ 链路追踪接入方便,ECI POD弹性伸缩,节省用户运维成本和云资源使用成本。 ᅳ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩,更丰富的云原生弹性能力。
文档版本:20201222 9 基于链路追踪+ECI的应用高可用弹性实践 应用部署 环境变量 SQL_ENVIRONMENT配置 mysql的访问地址,按照 1.3章节创建的 据库服务访问地址进行配置,如下图所示:环境变量 TRACE_ENDPOINT配置链路跟踪接入点地址,获取方式如下:a.登录链路跟踪控制台(https://tracing.console.aliyun.com/)b.获取到...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,容器镜像服务 ACR,弹性容器实例 ECI
CDN
阿里云内容分发网络CDN(全称Content Delivery Network)将源站内容分发至全国所有的节点,缩短用户查看资源的延迟,提高用户访问网站的响应速度与网站的可用性,解决源站带宽小、用户访问量大、网点分布不均等问题。
边缘节点服务(Edge Node Service,ENS)基于运营商边缘节点和网络构建,一站提供“融合、开放、联动、弹性”的分布式算力资源,帮助用户业务下沉至运营商侧边缘,有效降低计算时延和成本.ENS-全覆盖、易接入的弹性边缘基础设施.边缘网络加速服务(Edge Network Acceleration)基于阿里云广泛分布的边缘计算节点及运营商...
来自: 云产品
< 1 2 3 4 ... 9 >
共有9页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用