金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
说明：在项目开始之前请先下载实践相关的demo脚本（大小约25M），下载地址：https://code.aliyun.com/best-practice/bigdata-fin/repository/archive.zip 3.1.基础环境搭建 3.1.1.CADT创建资源 本例中，主要阐述大数据一站式开发，包含数据实时采集到DataHub通过实时计算对 数据进行ETL写入MaxCompute并通过Hologres做离线...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
大数据workshop
大数据workshop
说明：在项目开始之前请先下载实践相关的 democode，下载地址：https://code.aliyun.com/best-practice/bigDataWorkshop/tree/master 3.1. 基础环境搭建 3.1.1.CADT创建资源 本例中，主要阐述大数据一站式开发，包含数据实时采集到 DataHub通过实时计算 对数据进行 ETL写入 Hologres，再通过 DataV和 QuickBI做数据展示及...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
使用数据库网关做专线和公网互备。流量逐渐灰度验证，保障迁移平滑过渡。安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。文档版本：20201209 1 跨云迁移单写双读过渡架构 前置条件 前置条件 在进行本文操作前，您需要完成以下准备工作：注册阿里云账号，并完成实名认证。您可以登录阿里云控制台，...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
编写 template.yml 步骤1 新建一个目录 fc，在该目录下创建一个名为 template.yml的 YAML文件，该文件主要 描述要创建的函数的各项配置，就是将函数计算控制台上配置的那些配置信息以 YAML格式写在文件里。mkdir fc cd fc touch template.yml 步骤2 首先，我们导出 dataCollector服务的 yml模板，然后在其基础上增加 ...
ACK容器平台集群安全控制
场景描述 本方案实践主要是通过一些实践示例来介绍 用户对于在阿里云上使用Kubernetes集群服 务的容器平台安全管控的实践验证与使用建 议。 方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 解决问题 容器集群API Server的安全访问控 制 容器服务多租户场景下的授权管理 容器中的敏感信息数据的存储 容器服务集群安全策略配置管理 产品列表 容器服务Kubernetes版 负载均衡SLB 专有网络VPC 访问控制RAM
ACK容器平台集群安全控制 最佳实践 部署架构 场景描述 本方案实践主要是通过一些实践示例来介 绍用户对于在阿里云上使用 Kubernetes 集群服务的容器平台安全管控的实践验证 与使用建议。方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 解决问题 产品列表 容器集群 API Server的安全访问控制 ...
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫，如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题，阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建，有效助力疫情防。 方案优势： 1、性能优越：Ganos作为自研的时空数据库引擎，相比postgis性能更优秀。 2、安全稳定：故障自动切换自愈，资源隔离，多副本存储。 3、简单易用：开箱即用，兼容postgresql，打通quickbi快速搭建数据分析展示。 4、功能强大：相比postgis在时空模型上做了较多扩充，支持几何模型，栅格模型，网络模型，时空轨迹模型，点云模型，拓扑网络模型。
技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：方案优势 性能优越：Ganos作为自研的时空数据库引擎，相比 postgis性能更优秀。安全稳定：故障自动切换自愈，资源隔离，多副本存储。简单易用：开箱即用，兼容 postgresql，打通 quickbi快速搭建数据分析展示。功能强大：相比 postgis在时空模型上做了...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
最佳实践 业务架构 场景描述 解决的问题 随着客户业务规模的扩大，对系统高可用性要求越 数据库双向同步 来越高，越来越多用户采用异地双活/多活架构，多 数据库全局 ID不冲突 活架构往往涉及业务侧做单元化改造，本方案仅模 双活架构的数据库建设问题 拟用户已做单元化改造后的数据双向同步，数据库 采用双主架构，本地写...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
实时流处理 实时计算是阿里云基于 Apache Flink构建的企业级实时大数据计算商业产品，它主要 负责从 Kafka获取数据，并做 ETL数据清洗，然后写入到 ClickHouse。6.1.1.集群创建 步骤1 登录实时计算控制台。（https://realtime-compute.console.aliyun.com）步骤2 切换地域为华东 1（杭州），选择购买 Blink独享集群。步骤3 ...
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
部署云上 VPC环境 本章节主要用于引导客户创建 VPC专有网络环境，专有网络是您自己独有的云上私有 网络。您可以完全掌控自己的专有网络，例如选择 IP地址范围、配置路由表和网关等，您可以在自己定义的专有网络中使用阿里云资源如云服务器、云数据库 RDS 版和负 载均衡等。专有网络（VPC）是完全隔离的网络环境，可以提升...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
需要有灵活可扩展的计算平台、弹性可伸缩集群资源及灵活管控的用户 名词解释 Databricks数据洞察：是基于 Apache Spark的全托管大数据分析平台，产品内核 引擎使用 Databricks Runtime，并针对阿里云平台进行优化，使用 Notebook交互 式数据分析，Python库便捷安装，使用 Delta表存储比其他使用 Spark查询性能 有 5-10倍的...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
缓存模式最大的特点就是兼容性，保持了OSS原有的对象语义，集群中仅做缓存，因 此JindoFS和OSS客户端、OssFileSystem等，或者其他的各种OSS的交互程序是 完全兼容的，对原有OSS上的存量数据也不需要做任何的迁移、转换工作即可使用。同时集群中的数据和元数据缓存也能一定程度上提升数据访问性能。本文中方案使用了JindoFS...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
活跃分析 游戏产品日活 DAU/月活 MAU等均为评价该款游戏是否被玩家广泛接受的一个非常 重要的指标，本例 6.4章节已做了简单的演示，基于基本统计，可以对玩家的活跃 状态做更多的探索，比如：1.活跃账号分析：ˉ按照日期分析，常见的 DAU/WAU/MAU等ˉ按照渠道分析，比如分包渠道或者广告渠道等 2.在线分析：ˉ平均在线玩家...
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
控制柜包 含的组件和接口有： 两个控制器（ControllerModule，简称CM），每控制器一个处理器，可以扩展主 机接口适配器。 每控制器有4个内存插槽。 硬盘模块，有12盘位、25盘位、48盘位三种规格。 每控制器有2个12GBSAS扩展接口、2个USB接口、1个系统调试串口。 两个电源（PSU）+BBU模块，BBU位于电源模块中。 ...
基于转发路由器构建企业级组网
通过云企业网转发路由器 1. 实现灵活的互通、隔离、引流策略 2. VPC 间的内网互访流量经过三方安全设备管控（如Palo Alto） 3. 统一多 VPC 的互联网访问出口，提高业务安全性
基于转发路由器构建同地域企业级组网 最佳实践 场景一：多 VPC互联互通 场景描述 由于业务需要，客户在云上同地域有多个 VPC，希望可以实现多 VPC之间的灵活通信，如全部 VPC之间可以互相访问、部分 VPC隔离、所有 流量引流至安全 VPC做安全管控、所有 VPC统 一互联网出口等场景。解决问题 1.实现灵活的互通、隔离、引流...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
配置异地冷备环境 背景信息 作为完整数据库灾备方案，除了要有本地数据库备份外，还要在异地做数据库备份；传统方案是将备份集拷贝到本机其他盘、其他机器，这些都无法抵御地震、台风等自 然灾害；如果要做到异地容灾，需要用户在其他地区自行搭建备份机房，前期投入成 本很大。为了解决数据库异地灾备问题，阿里云 DBS提供...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
基于 MaxCompute的大数据 BI分析 最佳实践 场景描述 业务架构 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做 ETL之后，同步到 Hologres进行实时分 析，之后通过 Quick BI进行快速可视化展示。解决问题 1.互联网行业、电商、游戏行业等网站、App、小程 序应用内 BI分析场景。2.可扩展到各类网站 BI分析场景...
- 产品推荐
- 这些文档可能帮助您