- 相关产品：
- 智慧教育局校平台解决方案 智慧屏解决方案 容器安全解决方案
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
传统的Hadoop 方案中原始数据和ETL之后的数据都存储于HDFS，随着业务数据量增大，特别是在 线教育学习平台，文本、图片、音频、视频等文件对于数据存储的需求非常大，对大 数据集群规模的压力越来越大，对存储的压力越来越大，集群扩展时DataNode节点 需要退役更换，移动数据的成本很大，造成集群扩展的时间太长。...
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业，将线下视频文件通过混合云阵列缓存后，通过专线上传到阿里云OSS上。 也适用于其他混合云场景中，利用阵列缓存文件，并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道（专线）
机场视频监控最佳实践 部署架构图 场景描述 该最佳实践适用于国内机场的视频监控行业，将 线下视频文件通过混合云阵列缓存后，通过专线 上传到阿里云OSS上。也适用于其他混合云场景中，利用阵列缓存文 件，并通过网络传输到阿里云OSS上的场景。解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里...
基于ALB的统一流量调度和监控
企业在走向容器化过渡阶段，内部同时存在ECS应用和容器应用的情况，在多域名业务场景下，为了对应用的入方向流量进行统一的调度和监控，可通过ALB快速完成内部应用统一流量的管控。 典型场景 多域名转发到混合应用类型场景。 方案优势 1、 高弹性，高并发 2、 减少SLB+EIP数量 3、 一键WAF透明接入 4、 配置简单易上手 5、 统一流量运营分析
文档版本：20210915 49 PTS压测 基于 ALB统一流量调度和监控 5.PTS压测 本章节主要通过 PTS对 orders.api 和 users.api 应用进行流量推送，为后续 SLS监 控提供分析数据。步骤1 登录 PTS控制台（https://pts.console.aliyun.com/），若提示开通服务，单击确认。步骤2 重新进入 PTS控制台，若是新用户，系统提示如下优惠，请...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
步骤3 选择实时计算和 EMR引擎（在创建工作空间时添加 EMR引擎需配置 AK，也可以先 创建空间，再添加引擎避免无法识别 EMR用户问题）。文档版本：20201020 14 基于 Dataworks的大数据一站式开发及数据治理 基础环境搭建 步骤4 输入实时计算引擎和 EMR相关配置，创建工作空间。步骤5 对于已经创建的项目也可以在工作工具配置...
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云， 应 用采用 docker 方式部署， 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理，简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务，提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版（ACK） 微服务引擎（MSE） 关系数据库服务（RDS） 应用高可用服务（AHAS） 应用实时监控服务（ARMS）
4.通过 ARMS/AHAS提供监控和服务限流能力 产品列表 最佳实践频道 阿里云最佳实践分享群 容器服务 Kubernetes版 ACK 微服务引擎 MSE 关系数据库服务 RDS 应用高可用服务 AHAS 应用实时监控服务 ARMS 云速搭 CADT 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 Dubbo应用上云 最佳实践 文档版本：...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
文档版本：20220331 26 微服务应用问题定位及故障演练 ARMS部署 步骤4 在应用实时监控服务 ARMS控制台的 Agent列表中可以看到对应的应用 Agent都已 经成功运行了。文档版本：20220331 27 微服务应用问题定位及故障演练 问题定位及故障模拟 4.问题定位及故障模拟 4.1.相关准备工作 说明：本实验使用 kubectl连接 kubernetes...
大数据workshop
大数据workshop
作业 1.Hologres与 MaxCompute的底层存储相同，Hologres除了结合 Flink实现下 一代实时数仓，也可以实现离线实时一体分析，请结合本实践的内容设计并实 现离线实时一体分析。2.Hologres 与 MaxCompute 的底层存储相同，因此 Hologres 也可以结合 MaxCompute实现联邦计算，请结合本实践的内容设计并实现联邦计算。文档版本：...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
其底层基础 设施采用阿里双11异地多活架构，为数千下游应用提供实时数据流，已在线上稳 定运行6年之久。详见：https://www.aliyun.com/product/dts OSS：海量、安全、低成本、高可靠的云存储服务，提供99.9999999999%(12 个9)的数据持久性。使用RESTfulAPI可以在互联网任何位置存储和访问，容量 和处理能力弹性扩展，...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
DDH集群运维管理
场景描述 当前许多企业的IDC业务场景，资源管理 等使用习惯与公共云不同，使用DDH集群 管理，继承IDC虚拟化使用习惯，比如自 定义ECS规格。同时针对CPU负载较低 的场景，通过CPU超分，可以有效提高资 源利用率，节省整体成本。并且可以通过账 号授权业务团队，结合云监控资源使用率， 方便业务使用的同时又能有效遏制资源浪 费。 方案优势 1.使用专有宿主机集群构建云上环境，通 过超分提高资源利用率，降低企业成 本。 2.通过访问控制授权，云监控资源，完成 专有宿主机集群运维管理使用闭环。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 云监控CloudMonitor
在实例列表中，通过标签，team:A可以查看到本用户所属的标签实 例，并可以进行ECS的使用和生命周期管理如重启。文档版本：20200616 14 DDH集群运维管理最佳实践 最佳实践 3.监控DDH资源 3.1.通过云监控产品监控DDH 步骤1 使用主账号登录云监控管理控制台。（cloudmonitor.console.aliyun.com）步骤2 在左侧导航栏选择自定义...
云速搭部署Flink应用
本水煎通过云速搭实现一个DataHub+Flink的实时流计算引擎架构，利用DataHub收集原始数据，推送到Flink进行基于流式数据的分析和应用。
理解资源级别 每个阿里云资源都有资源级别，本架构中使用的资源如下表所示，这些架构级别在进 行架构设计时需要用到。云资源 架构级别 Flink VSW DataHub Region OSS Region 1.2.资源规划 在进行应用架构设计时，可以提前进行资源规划。本示例资源规划清单如下表所示。资源分类 资源名称 网段 Region 华北 2（北京）-VPC ...
- 产品推荐
- 这些文档可能帮助您