Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
下游服务 下游服务包含从 Kafka里取数据进行实时流处理的实时计算 Flink，数据处理完后 将数据推给 ES 存储，另外还有在第二个函数中对数据简单处理后直接存入数据 库。部署架构 文档版本：20210806（发布日期）3 Function Compute构建高弹性大数据采集系统 前置条件 前置条件 为了顺利完成本实践，您需要提前完成以下准备...
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
它底层的数据流基础设施为阿里双 11异地多 活基础架构，为数千下游应用提供实时数据流，已在线上稳定运行 6年之久。您 可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。详见：https://www.aliyun.com/product/dts 云企业网：阿里云致力于为用户提供优质、高效、稳定的网络传输环境，云企业网（Cloud Enterprise ...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
步骤9 返回到 Web应用防火墙控制台，在安全报表页面，查看访问控制限流，单击下方的访 文档版本：20200127 102 部署 Web应用防火墙（WAF）企业上云 workshop-IDC业务迁移上云 问控制，可以看到访问控制的拦截记录。13.4.3.精准访问控制防护效果 步骤1 登录 Web应用防火墙控制台。（https://yundunnext.console.aliyun.com/...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
它底层的数据流基础设施为阿里双 11异地多 活基础架构，为数千下游应用提供实时数据流，已在线上稳定运行 6年之久。您 可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。详见：https://www.aliyun.com/product/dts 云企业网：阿里云致力于为用户提供优质、高效、稳定的网络传输环境，云企业网（Cloud Enterprise ...
云解析PrivateZone
云解析PrivateZone是基于阿里云专有网络VPC环境的内网域名解析和管理服务。能够在自定义的一个或多个VPC中快速构建DNS系统，实现不同VPC的完全数据隔离，更安全。
针对特定模块，既提供全局视角的整体统计分析，也支持根据特定终端 IP 地址、特定域名、特定时间窗口进行下钻过滤分析，同时也支持7天无解析量域名列表下载来辅助业务下线流程的顺利进行.多样化的分析维度.提供分钟级别的 DNS 解析请求量、DNS 解析时延、TOP 域名(Zone)列表、TOP 子域名列表、TOP 网络列表、TOP 客户端 IP ...
来自：
云产品
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
步骤2 系统上线流程，资源配置、数据检查、上线作业等。文档版本：20201224 58 基于 Flink+ClickHouse构建实时游戏数据分析 实时流处理 步骤3 进入运维,查看作业运行状态，并手动启动作业。步骤4 进入作业详情，查看运行信息，通过可视化拓扑的方式，我们可以看到这个任务的运 行情况。文档版本：20201224 59 基于 Flink+...
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题，通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据，通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
概述 本章介绍在流量洪峰场景下，使用阿里云 Tair数据库性能增强型作为缓存提升对大流 量读的性能，降低对主数据库压力，同时减小系统反应时间，给客户带来更好的使用 ® TM 体验。此外，Tair数据库的持久内存型，支持 Intel傲腾 非易失性内存（AEP），在 数据库出现故障或掉电重启后，依然在内存保存数据库内容，提供了...
ACK容器平台集群安全控制
场景描述 本方案实践主要是通过一些实践示例来介绍 用户对于在阿里云上使用Kubernetes集群服 务的容器平台安全管控的实践验证与使用建 议。 方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 解决问题 容器集群API Server的安全访问控 制 容器服务多租户场景下的授权管理 容器中的敏感信息数据的存储 容器服务集群安全策略配置管理 产品列表 容器服务Kubernetes版 负载均衡SLB 专有网络VPC 访问控制RAM
ACK容器平台集群安全控制 最佳实践 部署架构 场景描述 本方案实践主要是通过一些实践示例来介 绍用户对于在阿里云上使用 Kubernetes 集群服务的容器平台安全管控的实践验证 与使用建议。方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 ...步骤3 获取校验码然后启动释放流程。文档版本：20220207 49
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
它底层的数据流基础设施为 文档版本：20210224 IV 游戏数据运营融合分析 前言 阿里双 11异地多活基础架构，为数千下游应用提供实时数据流，已在线上稳 定运行 5年之久。您可以使用数据传输轻松构建安全、可扩展、高可用的数据 架构。更多信息，请参见：help.aliyun.com/document_detail/26592.html RDS：云数据库 RDS MySQL...
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
于数据高可用和灾备需求，将 ElasticSearch中存储的索引数 据，备份至阿里云 OSS的存储空间，同时备份数据流基于 IPSec VPN/专线进行安 全传输。使用者可以进一步将保存在 OSS存储空间中的快照，恢复到自建 ElasticSearch服务器或者阿里云的 ElasticSearch实例。名词解释 云速搭 CADT：是一款为上云应用提供自助式云架构...
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
Hue(Hadoop User Experience)是一个开源的 Apache Hadoop UI 系统，最早是由 Cloudera.Desktop演化而来，由 Cloudera贡献给开源社区，它是基于 Python Web 框架 Django实现的，通过使用 Hue可以在浏览器的 Web控制上与 Hadoop集群来进 行交互分析来处理数据，例如操作 HDFS上的数据，管理和查询 Hive数据库的数据 等等。...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
阿里云提供的一 种支持多种数据源之间数据交互的数据流服务。它提供了数据迁移、实时数据订 阅及数据实时同步等多种数据传输能力。在数据库灾备解决方案中，使用阿里云 DTS可实现各数据库间的数据迁移与实时同步，从而为数据库灾备打好最重要的 基础。详见：https://www.aliyun.com/product/dts 文档版本：20220207 V ...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
有别于传统工具的繁复，PTS以互联网化的交互，提供性能测试、API调试和监 测等多种能力。自研和适配开源的功能都可以轻松模拟任意体量的用户访问业务 的场景，任务随时发起，免去繁琐的搭建和维护成本。更是紧密结合监控、流控等 兄弟产品提供一站式高可用能力，高效检验和管理业务性能。详见：...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
Notebook：Jupyter Notebook是一款基于网页的交互计算应用程序，适用于全过 程计算，包括开发、文档编写、运行代码和展示结果。Jupyter Notebook通过网页启 动，用户可以在网页中直接编写代码和运行代码，代码的运行结果直接在代码块下显 示；Notebook 同时支持在编码页面直接编写说明文档。更多信息，请参见 ...
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
Service 阿里云提供的一种支持 RDBMS（关系型数据 库）、NoSQL、OLAP 等多种数据源之间数据交互 的数据流服务。DTS 提供了数据迁移、实时数据 Data 订阅及数据实时同步等多种数据传输能力，可实现 DTS Transmission 不停服数据迁移、数据异地灾备、异地多活(单元 Service 化)、跨境数据同步、实时数据仓库、查询报表分 流、...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤。方案优势 易用性 您可以简单选择所需 ECS机型（CPU、内存）与磁盘，并选择所需的软件，进行 自动化部署。经济性 您可以按需创建集群，即离线作业运行结束就可以释放集群，还可以在需要时动 态地增加节点。深度整合 E-MapReduce 与阿里云其它产品（例如...
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
通常一个数据处理流程包含，数据处理，模型训练，可视化三部分。对应以上三部 分，RAPIDS分别使用 CUDF，CUML和 CUGRAPH三个软件库来进行加速。CUDF是一个 GPU版本的 PANDAS(最常用的数据处理 Python库)。CUML是 RAPIDS中用于加速机器学习算法的库，其中包含了异常火爆的 XGBOOST算法。CUGRAPH提供了 3个库用于统一的图分析...
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
通常一个数据处理流程包含，数据处理，模型训练，可视化三部分。对应以上三部 分，RAPIDS分别使用 CUDF，CUML和 CUGRAPH三个软件库来进行加速。CUDF是一个 GPU版本的 PANDAS(最常用的数据处理 Python库)。CUML是 RAPIDS中用于加速机器学习算法的库，其中包含了异常火爆的 XGBOOST算法。CUGRAPH提供了 3个库用于统一的图分析...
通过PAI-灵骏分布式训练和部署Llama 2模型
以 Meta 最新开源的大语言模型 Llama2 为例，通过PAI-灵骏完成了大语言模型的高效分布式训练、三阶段指令微调、模型离线推理验证以及在线服务部署等完整的开发链路。
保障模型效果且大幅提升大模型训练分布式效率相关产品智算服务 PAI-灵骏交互式建模 PAI-DSW机器学习 PAI-DLC模型在线服务 PAI-EAS对象存储 OSS文件存储 NAS在线咨询方案优势企业级应用基于软硬件一体优化技术，构建高性能异构算力底座，提供AI工程化全流程能力；支持多种AI角色管理，算力资源管理运维的企业级AI平台集群...
来自：
解决方案
- 产品推荐
- 这些文档可能帮助您