容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构，某可用区挂掉后，不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB，RDS，Redis等产品，实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB，RDS，REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
2.双击 ACK，修改日志项目服务名称，需要全局唯一。文档版本：20220622 8 容器跨可用区高可用最佳实践 搭建基础环境 注意：ACK 里勾选如下两个选项，勾选此选项后，ACK 在创建的时候自动创建 NAS文件系统，并以 CNFS的方式托管 NAS文件系统。步骤5 配置完成，单击右上角的保存，设置应用名称，然后单击部署应用。文档版本：...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
查看日志的页面如下图所示：选择下面日志，查看具体日志报错信息。步骤13 修改 ECS白名单。1.为了确保各个微服务之间的网络连接，请打开 4000到 9000端口的通讯信息。单 击需要设定白名单的 ECS。文档版本：20200106 57 Spring Cloud Netflix应用迁移 EDAS 微服务应用部署 EDAS环境 2.在左侧导航栏选择本实例安全组，单击...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
为了解决数据库异地灾备问题，阿里云 DBS提供多种环境的数据库备份服务，对于云 下 IDC数据库、其他云数据库、ECS自建数据库和 RDS数据库，可以将其数据和日 志备份到异地的 DBS内置存储/用户 OSS/RDS备份存储上，从而实现异地容灾备份。本最佳实践以阿里云华北 3（张家口）为例作为云上异地冷备中心环境，在该地域开 通 ...
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
部署服务.49 IV RAPIDS加速图像搜索 最佳实践概述 最佳实践概述 RAPIDS简介 RAPIDS（Real-time Acceleration Platform for Integrated Data Science）发布于 2018年 10月 10日的 GTC Europe大会上，是一款针对数据科学和机器学习的 GPU加速平台，它将 GPU的应用领域拓展到了数据科学和传统的机器学习领域，并且是端到端的...
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
部署服务.48 IV 文档版本信息：20191209 RAPIDS加速机器学习 最佳实践概述 最佳实践概述 RAPIDS简介 RAPIDS（Real-time Acceleration Platform for Integrated Data Science）发布于 2018年 10月 10日的 GTC Europe大会上，是一款针对数据科学和机器学习的 GPU加速平台，它将 GPU的应用领域拓展到了数据科学和传统的机器...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
Flume Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日 志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机 制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单 的可扩展数据模型，允许在线分析应用程序。文档版本：20210723 IV 自建Hadoop迁移...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
Flume会使用默认值，详细内容请查看官方文档：http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#kafka-source http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#hdfs-sink http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#memory- channel Kafka Source...
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云AI 助理备案控制台云数据库 SelectDB 版产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规常见问题社区云数据库 SelectDB 版基于 Apache Doris 的云原生实时数据仓库，致力于为客户提供极致性能、简单易用的数据分析服务。...
来自：
云产品
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
消息队列 Kafka 版是阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一，阿里云提供全托管服务，用户无需部署运维，更专业、更可靠、更安全.消息队列 RocketMQ 版.消息队列 RabbitMQ 版.消息...
来自：
云产品
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
Filebeat 可以监听指定的日 志文件或位置，从中收集日志事件并将其转发到 Elasticsearch或 Logstash进行索引，本实践采用 Filebeat收集 game-server的日志，并转发到 kafka。步骤1 在 ECS服务器上面，下载 Filebeat,为了兼容消息队列 kafka版本，推荐下载 filebeat-6.4.0-linux-x86_64：wget ...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
更多信息，请参见：www.aliyun.com/product/fc 消息队列 Kafka版：消息队列 Kafka 版是阿里云基于 Apache Kafka 构建的高 吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、文档版本：20210806（发布日期）III Function Compute构建高弹性大数据采集系统 产品介绍 流式数据处理、在线和离线分析等...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
可以到官网下载，这里直接提供下载命令（如果不能下载请手动绑定 EIP再下载）：cd/root/log wget http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0- bin.tar.gz tar zxvfapache-flume-1.9.0-bin.tar.gz mvapache-flume-1.9.0-bin flume 2.配置环境变量：文档版本：20201020 20 基于 Dataworks的大数据...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
开源 Flink迁移实时计算 Flink全托管版 最佳实践 业务架构 场景描述 解决的问题 Flink全托管产品（Flink Serverless）是一款基于 Flink各类任务如何迁移 Apache Flink 构建的全托管产品，为您提供全托 数据准确性如何校验 管一站式的实时计算服务，具有免运费、高增值、业务稳定性如何验证 低成本等特性。本方案介绍如何将...
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用.59元3000CUH资源包，快速开通实时计算Flink版.59元3000CUH资源包，快速开通实时计算Flink版.Flink中文社区.频道页banner.谢赟辉,靖鑫,也树.8月3日 StarRock X ...
来自：
云产品
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
更多信息，请参见：www.aliyun.com/product/vpc 消息队列 Kafka版：是阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性 的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线 和离线分析等，是大数据生态中不可或缺的产品之一。阿里云提供全托管服务，用 户无需部署运维，更专业、更可靠、更安全...
E-MapReduce Serverless StarRocks 版
E-MapReduce Serverless StarRocks版简称EMR StarRocks，是阿里云提供的全托管服务，内核100%兼容StarRocks，性能比传统OLAP引擎提升3-10倍，助力企业高效构建湖仓分析、高并发查询及实时分析等大数据应用。
提供易用的配置管理、审计日志、省时省力的 StarRocks 产品迁移工具等能力.分钟级别的监控报表，针对 StarRocks 核心数十项 metrics 无间断采集，提供准确的实时监控告警。对集群概览、计算、存储及查询、导入等提供诊断分析报告，以优化集群到更加的健康状态.企业级 StarRocks Manager 服务.可视化的 StarRocks 实例管理...
来自：
云产品
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
创建日志服务 SLS Project并采集 RDS审计日志数据 云 ClickHouse支持 SLS日志投递，本章节创建一个 SLS Project并接入 RDS审计日 志数据，确保 RDS MySQL审计日志接入成功，并用于后续的云 ClickHouse集群的 SLS日志投递功能验证。创建 Project参考文档：https://help.aliyun.com/document_detail/48984.html 背景信息 日志...
- 产品推荐
- 这些文档可能帮助您