阿里云最佳实践离线大数据workshop
阿里云最佳实践离线大数据workshop
本最佳实践,首先搭建一个简化的电商 demo 系统,然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统,学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建,学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
DWS公共汇总层是面向分析 对象的主题聚集建模。最终的分析目标为:最近一天某个类目、某个地区、某类人群购买商品的销售总额、购买力分布。因此,我们可以以最终交易成功的商品、买家、地区等角度对最近一天 的数据进行组合,组合成为涵盖多个维度的事实宽表。4.6.1.创建dws_trade_detail_di表 步骤1 在temp输入如下建表...
来自: 最佳实践 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
固废行业解决方案
固废行业解决方案帮助提升我国固废企业处理垃圾的能力,通过AI技术实现垃圾焚烧、烟气处理、污水污泥处理的控制自动化,帮助固废企业实现“智能管控”,提升企业作业能力。
固废行业解决方案依托阿里云全球领先的人工智能技术,在架构上支持焚烧过程机器建模、动态参数寻优、多变量协调控制、视觉AI看火分析等功能,并整合了工艺专家经验知识.统一应用服务.系列AI智能应用.打通垃圾焚烧发电数据体系.固废行业解决方案.相关解决方案.垃圾焚烧优化产品,适用于国内/国际的各固废处理集团、垃圾焚烧...
来自: 解决方案
虚拟数字人
淘宝天猫平台商家可以在淘宝直播平台上,通过阿里云提供的虚拟数字人主播实现在其店铺直播间开播,让虚拟人电商主播像真人电商主播一样进行商品介绍售卖以及和观众进行互动。
囊括人物设计、3D建模&绑定、动作表情制作、驱动配置的资产服务,适配智能/真人驱动,多场景多端复用.定制服务专人对接.3D资产定制「数字造星」.将文本、语音等内容转化为以数字人形象为主的视频内容,使其能够满足在电视、网站、视频平台或社交平台等视听媒体的投放或传播需求。为内容创作者提供更低门槛、更强表现力的...
来自: 云产品
优化求解器
阿里云优化求解器产品是求解优化问题的专业计算软件,技术来自达摩院决策智能实验室的MindOpt Solver。广泛应用于云计算、电力能源、交通物流等领域,每年在弹性计算资源调度优化场景里为阿里云节省数亿成本。
线上运行【免费案例】和【源码】,帮助您快速了解求解器的作用、学习业务问题如何分析和建模、熟悉使用求解器软件的代码(本地版仅包含Python代码).求解器运算快、求解质量优.可求解的问题规模大、适用问题类型广.可通过阿里账号云端授权,在本地运行求解器.授权方式灵活.当前上线了数学规划求解模块,支持 C、C++、Python...
来自: 云产品
数据可视化DataV
数据可视化DataV是阿里云一款数据可视化应用搭建工具,旨让更多的人看到数据可视化的魅力,帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用,满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。
丰富的地图可视化分析组件,用户可根据自己的需求创建各种类型的分析地图,如热力、点聚合、等值线图等,以直观、易懂的方式进行地理数据分析;强大的地理数据分析能力,提供了一套强大的地理数据分析算子,用户可通过算子或者可视化组件进行包括空间查询、空间分析的操作,实现多源地理数据的同屏分析;云端部署和共享...
来自: 云产品
DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎,为客户提供专业高效、安全可靠的一站式大数据开发与治理平台。每天阿里巴巴集团内部有数万名数据/算法工程师正在使用DataWorks,承担集团99%数据业务构建。
利用DataWorks数据建模进行整个数仓的规范化设计,让数据仓建设从“人治”走向“法治”.大模型驱动数据开发治理平台智能化升级.入门到实践,智能数据建模电子书发布.DataWorks荣获DAMA中国数据治理优秀产品奖.包年特惠活动上线,一年85折/两年7折/三年5折.2万字揭秘阿里巴巴数据治理平台建设实践.数据中台的智能进化,阿里...
来自: 云产品
高速公路智慧运营解决方案
阿里云高速公路智慧运营解决方案一套为高速公路管理处打造的智能化运营平台。助力高速公路集团进行数智化转型。
致力于批量结构化数据的存储和计算,提供快速、完全托管的PB级数据仓库解决方案及分析建模服务,使您可以经济并高效的分析处理海量数据.大数据计算服务.本方案基于高速云控平台的机器视觉与大数据融合算法引擎,整合外场的各类摄像头及智能化设备,为高速公路智慧运营提供全方位的服务.提升通行效率:通过智能引导算法及...
来自: 解决方案
交通数据中台解决方案
阿里云交通数据中台解决方案提供从交通数据接入到数据应用的全链路智能数据构建与管理能力,帮助客户快速形成数据资产、挖掘数据价值、赋能交通业务,助力交通行业数字化转型及智能应用的创新和推广。
全量交通数据的集中存储、建模、计算.高效的数据开发工具,极大程度实现交通数据开发的自动化.体系化的交通数据资产、数据血缘、数据安全管理工具.一站式的交通数据服务发布能力,缩短交通数据到交通应用的路径.完整性:一站式满足交通数据资产管理和数据研发效能的所有需求,包含交通数据采集、存储、开发、计算、可视化等...
来自: 解决方案
营销引擎云码
营销引擎云码(Intelligent Marketing Engine)是阿里云-企业云服务的数字化营销工具平台,围绕企业全域业务增长的目标,提供营销投放、用户建模、智能分发以及消费者触达的一站式全链路SaaS工具平台,并以营销效果为计费单元。
营销引擎云码(Marketing Engine)是阿里云-企业云服务的数字化营销工具平台,围绕企业全域业务增长的目标,提供营销投放、用户建模、智能分发以及消费者触达的一站式全链路SaaS工具平台,并以营销效果为计费单元.云码智创平台.查看产品文档.营销引擎云码.投放开通流程.更多产品与服务.SSP渠道平台为用户提供多种媒体选择,...
来自: 云产品
水泥行业解决方案
水泥行业解决方案将水泥生产过程中的DCS、PLC等数据汇集到工业大脑数据平台。采用大数据的方法建立数理模型,还原和模拟产线真实的的运行状态,再结合生产工艺机理机制和运行规则规范,对模型进行解读并作出优化控制决策,最终实现降本增效。
为水泥企业工艺流程优化建模提供了技术基础.大数据平台技术保障.通过对底层的分布式算法封装,提供拖拉拽的可视化操作环境,让数据挖掘的创建过程像搭积木一样简单。缩短了与数据的距离,真正实现了数据的触手可及.自动机器学习技术.可以持续帮助业务人员和普通技术人员通过图形化的界面轻松搭建专业水准的可视化应用。大屏...
来自: 解决方案
能耗宝
能耗宝是阿里云在ESG和碳中和战略大背景下推出的碳管理+能耗优化的应用服务产品,通过大数据计算及人工智能技术,帮助企业核算碳排放量、科学计算产品碳足迹、制定节能降碳方案、规划碳中和路径。同时联合权威认证机构实现在线认证,联合金融机构提供绿色金融/碳金融服务。能耗宝还致力于让碳普惠融入居民生活,形成社区碳流与个人碳账户,助力以人为本的低碳社区、低碳校园落地。
利用“碳足迹在线服务”进行一站式建模、认证和营销,提升企业声誉、引导绿色消费,规避碳关税带来的出口困难.阿里云能耗宝联动天猫双十一,为品牌进行碳足迹测算服务,经过测算以及认证后,为符合标准的商品贴上“低碳友好”标签,帮助消费者发现更多绿色商品.阿里云能耗宝为“一鸣澳瑞鲜牛奶”提供产品碳足迹在线核算、...
来自: 云产品
DevOps解决方案
DevOps解决方案是业内领先的面向企业的一站式研发提效解决方案,历经阿里集团众多业务打磨,覆盖研发测试全流程,通过研发综合效能管理和专项自动化提效工具,提升研发效能,降低研发成本,支撑技术团队实现真正的CI/CD和独立交付。
提供项目和人员甘特、需求看板、任务看板等管理方式,直观跟进研发进度,支持双十一等大型协作项目.集应用管理、编译构建、代码仓库权限管理、配置项管理于一体,全自动化生成项目开发仓库地址,自动进行代码编译、冲突检测、代码合并等.对项目开发仓库地址进行代码变更监控,实时收到邮件反馈包括代码静态扫描、单测用例...
来自: 解决方案
云上日志集中审计
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志,企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志;目前各云产品日志大部分 都进了sls,但都是产品独立的project,不方便集中 审计;客户的业务系统日志各种形态都有;多云和混 合云的场景,日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
丰富建模与分析功能:借助 SLS查询分析、加工、报表、告警、导出等功能,完 整支持审计场景下分析告警对接需求。低成本存储:利用对象存储、冷备等介质保证低成本。丰富生态:与开源、阿里云大数据、第三方 SOC软件无缝对接,充分发挥数据价 值。文档版本:20200630(发布日期)4 云上日志集中审计 开通日志审计应用 2.开通...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,负载均衡 SLB,弹性公网IP,日志服务(SLS)
基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
核心模块 游戏服(gameserver):基于 Spring-boot模拟的游戏服务器,提供 Restful API 拟用户行为数据的生成(一种:生成的用户行为数据直接写到 Kafka,另一种:生 成的用户数据写入到日志文件),扮演消息生产者角色,代码下载:https://code.aliyun.com/best-practice/game-server-188.git 日志采集(Filebeat):它...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
利用交互式分析(Hologres)进行数据查询
利用交互式分析(Hologres)进行数据查询
场景描述:随着收集数据的方式不断丰富,企业信息化 程度越来越高,企业掌握的数据量呈TB、 PB或EB级别增长。同时,数据中台的快 速推进,使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力,为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
MaxCompute致力于批量结构化数 据的存储和计算,提供海量数据仓库的解决方案及分析建模服务。由于单台服务器的处理能力有限,海量数据的分析需要分布式的计算模型。分布式的 计算模型对数据分析人员要求较高且不易维护。数据分析人员不仅需要了解业务需求,同时还需要熟悉底层分布式计算模型。MaxCompute为您提供完善的数据...
来自: 最佳实践 | 相关产品:大数据计算服务 MaxCompute,DataV数据可视化,实时计算,Hologres,云速搭CADT
EHPC分子动力学最佳实践
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例,介绍阿里云EHPC分子动力学最佳实践。
CP2K 为不同的建模方法(例如使用混合高 斯的 DFT 和平面波方法 GPW 和 GAPW)提供了通用框架。详见 https://github.com/cp2k/cp2k 本例运行开源软件 CP2K,以展示如何使用 E-HPC运行分子动力学应用。地域规划:本例选择华北 2(北京)E-HPC按照一般集群,登录节点一个,控制节点两个,计算节点两个,实际使用 中可以依据...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC,云速搭CADT
EHPC工业仿真
EHPC工业仿真
场景描述 本实践适用于使用弹性高性能计算EHPC+ 对象存储OSS运行仿真软件进行模型仿真 的场景中,这里运行的是LAMMPS这款开 源的仿真软件,数据通过OSS上传。 解决问题 1.使用EHPC运行工业仿真软件 2.使用OSS存储数据和代码 3.可视化计算结果 产品列表 弹性高性能计算E-HPC 对象存储OSS
EHPC工业仿真 最佳实践 场景描述 部署架构 本实践适用于使用弹性高性能计算 EHPC+对象存储 OSS运行仿真软件进行模型仿真的 场景中,这里运行的是 LAMMPS这款开源的 仿真软件,数据通过 OSS上传。解决问题 1.使用 EHPC运行工业仿真软件 2.使用 OSS存储数据和代码 3.可视化计算结果 产品列表 弹性高性能计算 E-HPC 对象存储...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,弹性高性能计算E-HPC
GPU云服务器
阿里云GPU云服务器(GPU Cloud Computing,GPU)是提供 GPU 算力的弹性计算服务,具有超强的计算能力,服务于深度学习、科学计算、图形可视化、视频处理多种应用场景。阿里云作为亚洲第一的云服务提供商,随时为您提供触手可得的算力,有效缓解计算压力,提升您的业务效率,助您提高企业竞争力。
进行负责CFD建模,极大缩短解决时间.优化的解决方案.在设计高性能电子产品和组件时,模拟电磁性能,准确预测电磁辐射、干扰和信号传输.加速计算电磁学的电子设计.在云端,提升工作效率,并让IT部门节省预算开支的应用虚拟化.云服务器ECS.推荐搭配使用.业内领先解决方案,超强性能.在视频处理领域同样存在计算量大,处理时间...
来自: 云产品
阿里云大数据&AI
阿里云大数据和AI产品服务。开放数据处理服务ODPS提供强大的数据分析和管理功能;开源大数据产品支持更加灵活地构建大数据平台;AI和机器学习产品提供AI工程平台和智算服务。
通过DataWorks自顶向下和自底向上的双向建模的能力,以及数据治理与企业数据评估模型的新能力来帮助企业更加直观地感受到自身的数据成熟度.实时计算Flink版.推荐搭配使用.云原生一体化数仓.云原生一体化数仓.车联网离线实时一体化最佳实践.车联网实时分析大屏示例.以MaxCompute和Hologres为核心的离线实时一体化海量云数仓...
来自: 云产品
基于Flink的资讯场景实时数仓
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景,Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
步骤3 在搜索框中,输入“flink”,通过关键字找到“基于 flink的资讯场景实时数仓”这个 文档版本:20220223(发布日期)10 基于 Flink的资讯场景实时数仓 基础环境部署 板,选中后,单击基于应用新建。步骤4 在架构设计页面,完成以下操作:双击 ecs图标,并设置 ecs的密码,建议:Test1234!双击 oss图标,修改 bucket...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,NAT网关,云原生数据仓库AnalyticDB My,云速搭CADT
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用