EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
Hue(Hadoop User Experience)是一个开源的 Apache Hadoop UI 系统，最早是由 Cloudera.Desktop演化而来，由 Cloudera贡献给开源社区，它是基于 Python Web 框架 Django实现的，通过使用 Hue可以在浏览器的 Web控制上与 Hadoop集群来进 行交互分析来处理数据，例如操作 HDFS上的数据，管理和查询 Hive数据库的数据 等等。...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
有别于传统工具的繁复，PTS以互联网化的交互，提供性能测试、API调试和监 测等多种能力。自研和适配开源的功能都可以轻松模拟任意体量的用户访问业务 的场景，任务随时发起，免去繁琐的搭建和维护成本。更是紧密结合监控、流控等 兄弟产品提供一站式高可用能力，高效检验和管理业务性能。详见：...
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫，如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题，阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建，有效助力疫情防。 方案优势： 1、性能优越：Ganos作为自研的时空数据库引擎，相比postgis性能更优秀。 2、安全稳定：故障自动切换自愈，资源隔离，多副本存储。 3、简单易用：开箱即用，兼容postgresql，打通quickbi快速搭建数据分析展示。 4、功能强大：相比postgis在时空模型上做了较多扩充，支持几何模型，栅格模型，网络模型，时空轨迹模型，点云模型，拓扑网络模型。
内容 文档名称 阿里云数据库快速搭建疫情分析系统最佳实践 文档编号 222 文档版本 V1.0 版本日期 2021-05-26 文档状态 外部发布 制作人 翰山 审阅人 天裵 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-05-26 翰山 天裵 创建 V1.1 2021-07-25 翰山 天裵 文档优化 文档版本：20210725 I 阿里云数据库快速搭建疫情...
ACK容器平台集群安全控制
场景描述 本方案实践主要是通过一些实践示例来介绍 用户对于在阿里云上使用Kubernetes集群服 务的容器平台安全管控的实践验证与使用建 议。 方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 解决问题 容器集群API Server的安全访问控 制 容器服务多租户场景下的授权管理 容器中的敏感信息数据的存储 容器服务集群安全策略配置管理 产品列表 容器服务Kubernetes版 负载均衡SLB 专有网络VPC 访问控制RAM
需要至少保证 RAM 子账户的目标集群的只读权限,因为阿里云容器服务 Kubernetes 版（ACK）授权分为控制面的授权和资源层面的授权，对于容器服务 Kubernetes来 说，控制面的授权需要由访问控制(RAM)来保证，包括对集群的 CRUD权限（如集群 资源可见性、扩缩容、添加节点等操作）；RBAC授权主要用于集群内部 Kubernetes 资源...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
推荐把一些 jar包的作用域设置为 provided类型，因为这些 jar包已经在集群 中提供 ￚ compile：代码依赖该 jar包，在编译、运行时候都需要，也就是说集群中不存 在这些 jar包，需要用户打到制品 jar包中。这种类型的 jar包一般是一些三方 库，且与 Flink/Blink运行无关，与用户代码逻辑有关。构建 Fat Jar包：ￚ fat jar...
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境，并使用AIACC加速工具进行加速。
3 FastGPU极速 AI推理 FastGPU简介 图⼀展示了 FastGPU的组成模块，底层调⽤阿⾥云的 OpenAPI实现阿⾥云云上资源的交互 层；中间层对⼈⼯智能运⾏所需的计算/⽹络/存储所需的对象封装形成阿⾥云的后端层；上层 将⼈⼯智能的作业/任务和相应的阿⾥云实例资源进⾏映射适配形成⽤户控制层，即⽤户 API 接⼝。⽤户只需使⽤上层...
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题，通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据，通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
类别 配置项 说明 专有网络 名称 vpc-db IPv4网段 推荐网段 192.168.0.0/16 交换机 名称 保留交换机 说明：通过控制台创建 VPC时必须同时创建一个交换 机，实际该交换机在本方案中不需要使用。可用区 华北 2 可用区 H IPv4网段 192.168.0.0/24 文档版本：20210120 5 在线教育流量洪峰最佳实践 资源部署介绍 云主机 规格 ecs...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
审阅人 毕役、阿瑟、天裵 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-06-17 谈慧杰、敬海 毕役、阿瑟 创建 文档版本：20210617 I 企业上云 workshop-IDC业务迁移上云 前言 前言 概述 本文以部署 Wordpress应用为例，介绍业务迁移上云的实践。名词解释 专有网络 VPC：是用户基于阿里云创建的自定义私有网络，...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
内容 文档名称 数据湖-在线学习场景数据分析 文档编号 153 文档版本 V1.2 版本日期 2020-03-31 文档状态 外部发布 制作人 期会 审阅人 游圣 文档变更记录 版本编号 日期 作者 审核人 说明 阿瑟 雷飙 周皓 V1.0 2020-03-03 云魁敬海 创建 华颋期会 V1.1 2020-03-31 筱晖 期会 文档优化 V1.2 2021-02-01 期会-增加CADT、EMR ...
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
云消息队列 RocketMQ 版Serverless实例计费说明.RocketMQ 5.0 商业化版本重磅发布.4.x和5.x版本实例差异说明.近期重要功能.按照消息的发布顺序进行顺序消费（FIFO），支持全局顺序与分区顺序.类似 X/Open XA 的分布事务功能，既可做到系统间的解耦，又能保证数据的最终一致性.消息可在指定的时间点(如2019/01/01 15:00:00)...
来自：
云产品
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
制作人 期会、敬海 审阅人 游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-10-23 期会、敬海 明中、吴波 创建 V1.1 2019-12-23 筱晖-文档优化 V1.2 2020-01-20 期会-增加概览页 文档版本：20191223 I 混合云存储构建VMware虚拟化平台 前言 前言 概述 本文以混合云存储阵列SA2600系统为例，介绍如何在混合云...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
有别于传统工具的繁复，PTS以互联网化的交互，提供性能测试、API调试和监 测等多种能力。自研和适配开源的功能都可以轻松模拟任意体量的用户访问业务 的场景，任务随时发起，免去繁琐的搭建和维护成本。更是紧密结合监控、流控等 兄弟产品提供一站式高可用能力，高效检验和管理业务性能。详见：...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
有别于传统工具的繁复，性能测试 PTS以互联网化的 交互，提供性能测试、API调试和监测等多种能力。自研和适配开源的功能都可以 轻松模拟任意体量的用户访问业务的场景，任务随时发起，免去繁琐的搭建和维 护成本。更多信息，请参见：www.aliyun.com/product/pts 云速搭 CADT：是一款为上云应用提供自助式云架构管理的产品，...
通过私网访问云服务
使用PrivateLink就可以通过私网访问其他VPC提供的服务，无需创建NAT网关或EIP等公网出口，更好的保障安全性和网络质量。支持同账号和跨账号的VPC间私网访问。另外 私网调用阿里云OpenAPI也有两种可选方案
本文以 AK认证方式为例通过 交互式快速完成配置。注意：除了 AK是必选参数之外，Default Region Id也是必须 配置的，且配置过程需要公网环境，否则配置会失败。aliyun configure-profile akProfile 文档版本：20210325 14 通过私网访问云服务最佳实践 通过 VPC接入地址调用API 2.2.4.解绑 EIP 将 EIP从 ECS A解绑，并重新...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
最佳实践 文档版本：20220207 文档版本：20220207 2 数据库异地灾备 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 数据库异地灾备最佳实践 文档编号 012 文档版本 V2.0 版本日期 2022-02-07 文档状态 已发布 制作人 天裵 审阅人-文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-02-22 明中 阿瑟 创建 V1...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
20150122（发布日期）II 游戏数据运营融合分析 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 游戏数据运营融合分析 文档编号 157 文档版本 V2.0 版本日期 2021-02-24 文档状态 外部发布 制作人 七凌，明中 审阅人 云魁，阿谈 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-03-25 明中，南靖，云魁，阿...
智能语音交互
阿里云智能语音交互（Intelligent Speech Interaction），提供语音识别、语音合成、自然语言理解等基础技术，应用于智能客服、智能质检、庭审实时记录、实时演讲字幕、访谈录音转写等场景。提供自学习平台等应用工具，辅助实现语音识别效果的定制优化。语音交互产品可进行公共云和私有化部署，在金融、保险、司法、电商等多个领域均有成功应用案例。
基于语音识别、语音合成、自然语言理解等技术，实现“能听、会说、懂你”式的智能人机交互体验，适用于智能客服、质检、会议纪要、实时字幕等多个企业应用场景.智能语音交互.录音文件识别.录音文件极速版.录音文件闲时版.实时语音识别.长文本语音合成.录音文件识别.提交录音文件识别请求后，商业用户的转写任务可在3小时之...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您