大数据workshop
大数据workshop
详见：https://www.aliyun.com/product/bigdata/bi Hologres：MaxCompute 交互式分析（Hologres）是为大数据设计的实时交互 式分析产品，它与 MaxCompute无缝打通，支持数据实时写入，支持 PB级数 据进行高并发、低延时的分析处理，兼容 PostgreSQL协议，可以使用您最熟悉 的 BI 工具对海量数据进行自助的多维分析透视和...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
无缝对接主流BI工具 专有网络VPC 交换机vswitch 最佳实践频道 Hologres http://bp.aliyun.com 实时计算Flink 阿里云最佳实践分享群 Dataworks 钉钉搜索钉群号31852400入群 云速搭CADT 微服务引擎MSE用户交流群 钉钉搜索钉群号43525005207入群云服务器ECS（产品名称）文档模板（手册名称）/文档版本信息 ...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
自定义 Sink Demo打包 步骤1 下载项目提供的 Demo，导入 IDEA（本例使用 IDEA作为开发工具，支持 JAVA的 IDE 都可）。文档版本：20201020 24 基于 Dataworks的大数据一站式开发及数据治理 日志实时 ETL写入HDFS 步骤2 使用 mvn clean install进行打包。步骤3 等待打包完成，下图所示即我们需要的 jar包。3.2.基于 dataworks...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
export JAVA_HOME=usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_H OME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin 文档版本：20220223（发布日期）35 基于 Flink的资讯场景实时数仓 基础环境部署 3.执行 source/etc/...
云原生数据湖分析DLA
阿里云云原生数据湖分析是新一代大数据解决方案，采取计算与存储完全分离的架构，支持对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源的消息实时归档建仓，提供Presto和Spark引擎，满足在线交互式查询、流处理、批处理、机器学习等诉求。内置大量优化+弹性，比开源自建集群最高降低50%+的成本，最快可1分钟级拉起300个计算节点，快速满足业务资源要求。
与QuickBI、Tableau、DataV等BI工具集成度高、兼容性好.兼容标准SQL.兼容SQL:2003标准，支持标准JDBC/ODBC协议，丰富的内置函数支持，数据库般的使用体验.数据库式体验、多种GUI工具、数据SaaS可视化工具支持，学习使用成本低.完善的生态，学习使用成本低.云原生数据湖分析（DLA)产品退市公告.云原生数据湖分析（DLA）产品...
来自：
云产品
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
MaxCompute已与数据集成、DataWorks、QuickBI、机器学习 PAI、ADB、推荐引擎、移动数据分析等大数据产 品打通，可快速集成使用，轻松应对各种大数据应用场景。本文以线下现有业务大数据离线数仓建设为背景，介绍如何在现有业务应用系统零 改造的前提下，从 Kafka集群切入，打通数据上云链路，解决数据复杂类型支持和 动态...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
步骤10 登录成功后，确认 game-server的包已经被拷贝到服务器上：文档版本：20201224 39 基于 Flink+ClickHouse构建实时游戏数据分析 游戏服构建 步骤11 通过 yum工具进行 java安装。步骤12 查看 java版本。步骤13 以 standalone的方式运行 game-server服务，并且指定运行时环境为 prod。java-jar game-server-0.0.2-...
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题，通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据，通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
Cloud Serving Benchmark(YCSB)是开源压测工具，本最佳实践将使用该工 具压测 Tair数据库。YCSB的 github地址：https://github.com/brianfrankcooper/YCSB 步骤1 下载 YCSB源码。在测试 ecs（redis-client）上安装 git。yum-y install git git clone https://github.com/brianfrankcooper/YCSB.git 可以在本最佳实践 GIT...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
详见：https://www.aliyun.com/product/bigdata/bi Hologres：MaxCompute 交互式分析（Hologres）是为大数据设计的实时交互式 分析产品，它与MaxCompute无缝打通，支持数据实时写入，支持PB级数据进 行高并发、低延时的分析处理，兼容PostgreSQL协议，可以使用您最熟悉的BI 工具对海量数据进行自助的多维分析透视和业务...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具，大幅提升数据分析和报表开发效率，一站式满足企业各种场景的数据分析和决策的诉求。
近日，Quick BI 在中国信息通信研究院（信通院）的“可信大数据”商务智能分析（BI）工具基础能力评测中获得了高度评价。2024-01-12Quick BI 助力山东高速集团成功举办数字化应用场景创新大赛为推动集团数字化转型、提升信息化水平，山东高速集团近日举办了一场以数字化应用场景创新为主题的大赛。这场大赛得到了阿里云智能...
来自：
云产品
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
文档版本：20211213 72 基于 MaxCompute的大数据 BI分析 DataWorks大数据处理 说明:ds分区值请在 DataStudio界面查找，见下图：文档版本：20211213 73 基于 MaxCompute的大数据 BI分析 DataWorks大数据处理 5.11.ETL-UDF开发 说明：本节介绍使用 UDF(JAVA)进行自定义函数开发把 ip地址转化为国家、省、市等 信息（本文做...
Cloud Toolkit阿里云开发者插件工具
Cloud Toolkit - 阿里云集开发、测试、诊断、部署为一体的免费本地多IDE插件，帮助开发者真正实现任意服务器或 ECS、EDAS、Kubernetes、SAE、函数计算等一键式研发部署，支持Java规约、高效执行终端命令和 SQL等常见工具，研发速度提升8倍以上，大幅降低研发成本。
支持标准 SSH 协议，无需在一系列运维工具之间切换，只需在图形界面上选择目标服务器，即可实现应用快速部署.部署到任意服务器/ECS.针对阿里云 EDAS 开发者，可以将本地代码和云端应用进行关联，实现自动化的部署.部署到 EDAS.针对阿里云 SAE 开发者，可以将应用快速部署到 SAE，适用于快速迭代更新应用的场景.部署到 SAE....
来自：
云产品
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
更多信息，请参见：help.aliyun.com/document_detail/26092.html QuickBI：QuickBI是阿里云旗下产品，是一个基于云计算致力于大数据高效分 析与展现的轻量级自助 BI工具服务平台。通过对数据源的连接和数据集的创建，对数据进行即时的分析与查询；通过电子表格或仪表板功能，以拖拽的方式进 行数据的可视化呈现。更多信息，...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
利用CADT构建基础环境 本章节使用云速搭工具CADT，采用模板的方式快速部署需要用到的产品，需要注意 的是CADT工具暂时不支持MaxCompute，Dataworks,QuickBI的部署，需要使用控 制台来部署或者创建对应的实例。步骤1 在总控制台页面，进入CADT的控制台。文档版本：20210802（发布日期）11阿里云最佳实践金融大数据WorkShop ...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫，如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题，阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建，有效助力疫情防。 方案优势： 1、性能优越：Ganos作为自研的时空数据库引擎，相比postgis性能更优秀。 2、安全稳定：故障自动切换自愈，资源隔离，多副本存储。 3、简单易用：开箱即用，兼容postgresql，打通quickbi快速搭建数据分析展示。 4、功能强大：相比postgis在时空模型上做了较多扩充，支持几何模型，栅格模型，网络模型，时空轨迹模型，点云模型，拓扑网络模型。
select*from public.sick_cases limit 11 文档版本：20210725 19 阿里云数据库快速搭建疫情分析系统最佳实践 环境配置 文档版本：20210725 20 阿里云数据库快速搭建疫情分析系统最佳实践 QuickBI 3.QuickBI 3.1.QuickBI使用 步骤1 登录 QuickBI控制台。步骤2 根据实际情况选择合适的版本，这里选择高级版。文档版本：...
- 产品推荐
- 这些文档可能帮助您