金融专属大数据workshop
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库,掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建,用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
MaxCompute 交互式分析(Hologres)是为大数据设计的实时交互式 分析产品,它MaxCompute无缝打通,支持数据实时写入,支持PB级数据进 行高并发、低延时的分析处理,兼容PostgreSQL协议,可以使用您最熟悉的BI 工具对海量数据进行自助的多维分析透视和业务探索,同时也支持超高QPS点查 能 力,满 足 数 仓 、服 务 一...
来自: 最佳实践 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
云数据库产品总览(瑶池)
阿里云提供完善的数据库解决方案,多款数据库产品,满足99%的业务场景,荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求;运维工作量大幅减少,让企业一站式享受数据上云及分布式架构的技术红利!
阿里云拥有强大且丰富的云数据库产品家族,涵盖关系型数据库、非关系型数据库、数据仓库、数据库生态工具四大版块,可以为企业数据生产和集成、实时处理、分析与发现、开发与管理提供全链路生命周期的服务.阿里云瑶池数据库:云原生一站式数据管理与服务.通过PolarDB多主集群、HTAP和透明冷热数据分层的方案,升级了SaaS...
来自: 云产品
SLS多云日志采集、处理及分析
SLS多云日志采集、处理及<em>分析</em>
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务,通过日志服务 进行数据分析,帮助提升运维、运营效率, 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户,推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输;针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况,可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
文档版本:20211203 24 SLS多云日志采集、处理及分析 Logtail日志采集处理分析 注意:查询分析设置的修改操作只会对新写入的数据生效,如果您需要提前对查询 设置的某些字段分析统计生效,请使用指定字段查询的自定义方式在日志写入到日 志库之前进行开启统计查询。步骤4 再次启动日志发生器和停止日志发生器。按云...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS),NAT网关,E-MapReduce,全站加速 DCDN,云速搭CADT
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
其优点是学习成本低,可以通过类 SQL语句快速 实现简单的 MapReduce统计,不必开发专门的 MapReduce应用,十分适合数据 仓库的统计分析。RDS:阿里云关系型数据库(Relational Database Service,简称 RDS)是一种 稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和 SSD盘 高性能存储,RDS支持 MySQL、SQL...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
基于Flink的资讯场景实时数仓
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景,Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
6.业务系统:经过处理的数据,可直接服务于相关业务方,如运营、决策者、相关 等。例如,运营人员可通过实时报表中的客流分析,及时调整运营策略,提高活 动转化率;实现实时风控和在线流量反作弊,避免业务损失。文档版本:20220223(发布日期)6 基于 Flink的资讯场景实时数仓 资讯场景介绍技术架构设计 2.资讯场景...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,NAT网关,云原生数据仓库AnalyticDB My,云速搭CADT
自建ELK迁移阿里云日志服务
自建ELK迁移阿里云日志服务
场景描述 ELK Stack(Elastic/Logstash/Kibana) 通常 被用于日志实时分析, 在开源社区中有大量 的内容和使用案例。 本文介绍如何将自建的 ELK 系统迁移到阿里云 SLS 日志服务。 解决问题 1. 自建 ELK 如何迁移到阿里云日志服务。 2. 如何使用 Logtail 采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、 分析。 产品列表  阿里云日志服务(SLS)  VPN 网关  IPSec VPN  云服务器
作者 审核人 说明 V1.0 2020-02-11 期会、丁健 云魁、周郎 创建 迭代迁移工具、SLS统计分 V1.1 2020-03-10 期会、和颐 部分内容 V1.2 2024-04-11 厉博、楼岚 更新CADT支持、文档描述 V1.3 2024-04-22 游圣 优化CADT模版、优化文档 文档版本:20240422 I自建ELK迁移阿里云日志服务(SLS)目录 目录 文档版本信息.I 法律...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS)
可观测链路 OpenTelemetry 版
针对 PHP、C++、Go、Node.js 等多语言应用,提供端到端全链路追踪、应用监控与告警、链路拓扑、日志关联分析能力,并基于 OpenTelemetry 开源标准,兼容 Jaeger、Zipkin、SkyWalking 等开源项目数据上报。快速发现分布式应用架构下的性能瓶颈,缩短错/慢调用根因定位耗时,提高全栈开发与诊断效率。
更多产品服务.ARMS应用监控-每月50GB免费额度,满足分布式应用监控链路追踪需求.ARMS前端监控-每月50GB免费额度,满足网站、小程序、APP监控需求.可观测监控Prometheus版-每月50GB免费额度,满足容器/云服务监控需求.可观测产品推荐.可观测可视化Grafana版-首月专家版(10U)免费.ARMS云拨测-每月3000次免费拨测额度,...
来自: 云产品
移动分析
移动分析 MAS,源于阿里云移动开发平台。移动分析 MAS,通过多端埋点数据的采集与分析,实现产品核心指标监控。帮助企业更好的完成业务监控、用户洞察与行为分析,指导产品迭代,精细化产品运营,辅助营销决策,加速业务商业化。
在 mPaaS 控制台中创建您的应用.客户端应用使用 mPaaS 中的埋点 SDK 进行埋点.在 mPaaS 控制台中,查看统计数据.组件接入问题咨询>>.mPaaS 全线降价!点击查看.全线降价,mPaaS 助力打造超级 App!点击查看.移动分析 MAS,通过多端埋点数据的采集与分析,实现产品核心指标监控。帮助企业更好的完成业务监控、用户洞察行为...
来自: 云产品
基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据<em>分析</em>
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
步骤5 等待应用部署完成,部署时间与应用架构复杂度有关。文档版本:20201224 17 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 步骤6 部署完成后,可查看部署报告,方便以后运维工作,如下图所示,截取于自动生成的 部署报告的部分内容。文档版本:20201224 18 基于 Flink+ClickHouse构建实时游戏数据分析 基础...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
程序
mPaaS 小程序,源自于支付宝小程序框架,亿级线上业务体量的锤炼,安全性媲美支付宝原生能力。不仅面向自有 App 投放小程序,更可快速构建打包,覆盖支付宝、淘宝、钉钉等应用。
数据全链路采集,日志深度采集与分析,保证高可.通过集成第三方小程序能力,增加业务场景,促进用户活跃.三方能力集成.推荐搭配使用.提供即开即的端上体验.小程序接入问题咨询>>.已兼容 Uniapp 及 Remax 等主流多端开发框架,不仅实现面向自有 App 投放小程序,更可一键投放至支付宝、淘宝,甚至转成 HTML5 页面.请求...
来自: 云产品
可观测可视化 Grafana 版
可观测可视化 Grafana 版作为云原生数据可视化平台,为运维SRE、研发工程师、产品经理、市场营销等不同角色提供开箱即用的一站式可视化平台,满足运维监控、经营分析、汇报展示等不同场景的查询、可视化、告警需求。
随着客户所使用的云服务种类不断增加,监控、日志、APM等监控体系繁杂且缺乏统一分析与展示。客户无法及时、全面地了解消息队列、云数据库、函数计算等下游云服务运行状况,难以处理可能的异常事件和状态变更,无法实现故障的快速自愈.数据汇总难:各类云服务监控数据难以汇总统一,增加运维难度.运维监控困难:各类云服务...
来自: 云产品
云迁移中心
云迁移中心,为应用程序上阿里云提供迁云成本分析,网络拓扑图自动生成,一站式应用程序迁移监控,同时支持IDC和他云环境,加速和简化应用迁移。
针对于不同的环境,阿里云云迁移团队设计专门的采集器进行客户源端调研,采集网络、机器、进程、拓扑、性能等信息,满足客户后期进一步的云迁移分析与方案生成.云迁移中心考虑到每一个用户的数据安全和审计需求,提供采集数据的“本地导出后上传”与“自动上传”两种模式。并且用户所有源端IT资源信息,云迁移中心都默认...
来自: 云产品
基于MaxCompute的大数据BI分析
基于MaxCompute的大数据BI<em>分析</em>
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
基于 MaxCompute的大数据 BI分析 最佳实践 场景描述 业务架构 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做 ETL之后,同步到 Hologres进行实时 ,之后通过 Quick BI进行快速可视化展示。解决问题 1.互联网行业、电商、游戏行业等网站、App、小程 序应用内 BI分析场景。2.可扩展到各类网站 BI分析场景...
来自: 最佳实践 | 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
云效效能洞察Insight
云效效能洞察Insight是阿里云旗下专业的交付过程监控和研发效能度量、分析平台。提供场景化的效能度量模版和丰富的效能指标,可视化研发效能状态,指导研发效能改进。
应用为核心的云原生应用交付平台,提供对开发者友好的应用编排、环境管理、部署运维、资源管理、应用发布等一站式应用交付能力.云效应用交付.提供基于Maven、Gradle、NPM等软件包管理工具的企业级私有仓库服务,用于管理企业级依赖托管.云效制品仓库.标准化管理测试用例,快速搭建一体化「开发->测试->反馈」流程,有效提升...
来自: 云产品
智能对话分析
阿里云智能对话分析帮助企业从海量对话录音或对话文本中挖掘可能存在的风险点和商机,同时提升企业服务质量、监控舆情风险、优化服务策略,智能对话分析典型应用场景有智能客服质检、销售线索分析等。
打通热线电话、网站、小程序、APP等用户企业的联系渠道,帮助企业统一管理服务体验,并利用AI能力升级数字员工服务坐席智能辅助体系,全面提高服务体验效率.基于通义千问客服对话大模型,在企业服务用户的入口(如网站、APP、IM工具等)部署产品可提供7*24小时自助的咨询服务,SaaS化的管理系统,可上传文档、网页、...
来自: 云产品
智能外呼机器人
阿里云智能外呼机器人即通过业务的场景自动发起的电话外呼任务。支持灵活画布配置,精准语音识别、自然人声合成、丰富开放API。通过人与机器人的语音对话交互收集业务结果,并对数据加以统计处理,获取用户反馈,帮助客户轻松实现智能化外呼。能够降低呼叫中心人力外呼成本,提升信息筛选及反馈效率。
打通热线电话、网站、小程序、APP等用户企业的联系渠道,帮助企业统一管理服务体验,并利用AI能力升级数字员工服务坐席智能辅助体系,全面提高服务体验效率。产品开放灵活,帮助企业快速构建个性化的服务流程.基于语音识别和合成,机器学习和自然语言理解等技术,在传统的热线电话中加入了语音业务自助办理/语音问答...
来自: 云产品
营销引擎云码
营销引擎云码(Intelligent Marketing Engine)是阿里云-企业云服务的数字化营销工具平台,围绕企业全域业务增长的目标,提供营销投放、用户建模、智能分发以及消费者触达的一站式全链路SaaS工具平台,并以营销效果为计费单元。
支持移动应用App、小程序、AIoT媒体等多种媒体形态,用户可以根据业务的实际需求进行自由选择.媒体渠道平台.有道初尝云码智新新玩法,自定义多种类型数据银行人群包精准蓄客,如:近90天搜索过品牌关键词人群、行业高购买力人群、PL非会员人群等,沉淀大量用户资产,拉新人群画像店铺日常购买人群画像匹配度80%,双十一...
来自: 云产品
云呼叫中心
阿里云呼叫中心(Cloud Call Center)是阿里云推出的企业级智能联络中心类产品,为客户提供灵活的坐席扩展能力、高性能的分布式服务以及丰富的OpenAPI能力,搭配智能排队路由、可视化IVR以及阿里云智能客服产品体系,轻松搭建智能化的联络中心服务。
打通热线电话、网站、小程序、APP等用户企业的联系渠道,帮助企业统一管理服务体验,并利用AI能力升级数字员工服务坐席智能辅助体系,全面提高服务体验效率。产品开放灵活,帮助企业快速构建个性化的服务流程。了解更多信息,请添加钉钉:cccsupport2.云联络中心(原云呼叫中心).只需几次点击,即可创建智能呼叫中心。...
来自: 云产品
云效项目协作Projex
阿里云云效项目协作 Projex提供项目管理、迭代规划、需求管理、缺陷管理、任务管理等项目管理功能及效能数据统计,支持单项目管理、跨项目协作等丰富的协作场景
应用为核心的云原生应用交付平台,提供对开发者友好的应用编排、环境管理、部署运维、资源管理、应用发布等一站式应用交付能力.云效应用交付.提供灵活易用的持续集成、持续验证、持续发布功能,帮助企业高质量、高效率的交付业务.提供基于Maven、Gradle、Helm等软件包管理工具的企业级私有仓库服务,用于管理企业级依赖托管...
来自: 云产品
< 1 2 3 4 ... 7 >
共有7页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用