自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
解决的问题 客户基于ECS、IDC自建或友商自建了大数据集群，自建Hadoop集群搬迁到 MaxCompute 为了降低企业大数据计算平台的成本，提高大数 自建Hbase集群搬迁到云 Hbase 据应用开发效率，更有效保障数据安全，把大数据 自建 Kafka 或服务器数据实时同步到 集群的数据、作业、调度任务以及业务数据库整体 MaxCompute 迁移到...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
关键技术选型 1.1.ClickHouse vs Presto 面对海量的数据，我们如何进行数据库的选项，这里对比了开源的两种常见分析性数 据库。ClickHouse对数据采用有序存储的方式，其核心思想是充分利用了磁盘批量顺序读写 的性能要远远高于随机读写的特征，并且结合 LSM tree的设计进一步进行优化，使得 写性能达到最优（可达到 200MB/S...
移动测试
阿里云移动测试（Mobile Testing）是为广大企业客户和移动开发者提供真机测试服务的云平台，拥有大量热门机型，提供7x24全天候App测试服务，帮助客户发现APP中的各类隐患（应用崩溃、各类兼容性问题、功能性问题、性能问题等），减少用户流失，提高APP质量和市场竞争力。
支持Android、iOS、HarmonyOS全平台应用.支持两种登录模式（自动登录、脚本登录），以及最多3个历史版本的应用覆盖安装测试.检测效果强大.支持Crash/ANR检测及错误调用栈分析定位、支持遍历拓扑图帮助快速复现问题、支持性能分析检查应用性能问题.使用流程简单，Crash/ANR检测效果强大，能够快速检测出应用潜在的问题，并...
来自：
云产品
HTTPDNS
阿里云HTTPDNS是面向多端应用（移动端APP，PC客户端应用）的域名解析服务，具有域名防劫持、精准调度、实时解析生效的特性。域名解析请求直接发送至HTTPDNS服务器，绕过运营商Local DNS，避免域名劫持问题。直接获取客户端 IP ，基于客户端 IP 获得最精准的解析结果，让客户端就近接入业务节点。
云数据库RDS版SQL Server.域名劫持一直是困扰许多开发者，其表现即域名A应该返回的DNS解析结果IP1被恶意替换为了IP2，导致A的访问失败或访问了一个不安全的站点.使用HTTP（HTTPS）协议进行域名解析，域名解析请求直接发送至HTTPDNS服务器，绕过运营商Local DNS，避免域名劫持问题.由于运营商策略的多样性，其 Local DNS 的...
来自：
云产品
媒体处理MPS
阿里云媒体处理（ApsaraVideo for Media Processing，原MTS）是一种多媒体数据处理服务。它以经济、弹性和高可扩展的转换方法，将多媒体数据转码成适合在全平台播放的格式。并基于海量数据深度学习，对媒体的内容、文字、语音、场景多模态分析，实现智能审核、内容理解、智能编辑。
提供Web播放器及iOS、Android移动平台播放器SDK.对象存储OSS.消息服务MNS.推荐搭配使用.快速转码，满足传统广电视频技术要求.视频能更直观的对商品进行描述，极大地丰富了在售商品的功能介绍，提升买家购买欲望。适用于商品视频描述、新品发布会、视频导购及拍卖等应用场景.丰富在售商品的功能介绍，刺激买家购买欲望.商品...
来自：
云产品
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
同时，数 据中台的快速推进，使数据应用主要为数据支撑、用户画 像、实时圈人及广告精准投放等核心业务服务。高可靠和 低延时地数据服务成为企业数字化转型的关键。Hologres致力于低成本和高性能地大规模计算型存储和 强大的查询能力，为您提供海量数据的实时数据仓库解决 方案和实时交互式查询服务。解决问题 1.加速查询...
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程，模拟了数据库迁移所需的工作，帮助您快速上手。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景RDS 解决的问题如何迁移到 RDS迁移前后对比优惠购买自建数据库迁移到云数据库本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，...
来自：
解决方案
1分钟部署幻兽帕鲁游戏服务器
近期幻兽帕鲁、雾锁王国等游戏备受追捧，其对计算资源与带宽有较高的要求。为确保游戏过程的流畅度与优质体验，玩家需要配备性能好、稳定可靠的游戏服务器。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读方案介绍方案优势应用场景方案部署1分钟部署幻兽帕鲁游戏服务器近期幻兽帕鲁、雾锁王国等游戏备受追捧，其对计算资源与带宽有较高的要求。为确保游戏过程的流畅度与优质体验，玩家需要配备性能好、稳定可靠的游戏服务器。本方案为...
来自：
解决方案
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
1.4、创建VPC对等连接，模拟专线连接，也可以通过公网连接 2、华东2（上海）region：2.1、开通云产品：Kafka、SAE 2.2、云服务器ECS（模拟业务产生日志）2.3、SAE模拟应用引擎（SAE或K8S集群等），产品日志数据，投递到 Kafka 文档版本：20240428 2SLS数据入湖Kafka最佳实践 最佳实践概述 产品介绍 专有网络VPC...
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
弹性公网IP：弹性公网IP是独立的公网IP资源，可与阿里云专有网络VPC类型 的云服务器ECS、NAT网关、ENI网卡、私网负载均衡SLB绑定，并可以动态 解绑满足灵活管理的要求。弹性公网IP可为您在云上部署的网站提供Internet访 问服务。 云消息队列RocketMQ版：是阿里云基于ApacheRocketMQ构建的低延迟、高 并发、高可用、高...
基于Fortinet的出海业务访问加速方案
本方案基于CADT提供一个一键交付零配置的部署模板，帮助企业快速构建出海业务访问加速的环境。方案结合了Fortinet产品以及阿里云的ECS，BGP公网精品IP等产品，实现低成本的出海业务加速。
方案优势 1、低成本出海加速业务 2、最小核数 1CPU最多支持 20人同时在线 产品列表 访问 3、支持弹性扩容、弹性带宽、按流量等多种 云速搭 CADT 模式付费 专有网络 VPC 4、智能传输路径选择、阿里云海外多节点覆 阿里云交换机 盖，享受安全、快速、超低延迟访问 阿里云安全组 云服务器 ECS BGP公网精品 IP 最佳实践频道 ...
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
应用场景 自建ELK日志系统的客户迁移到阿里云日志服 务SLS后，对SLS查询分析语法不太熟悉的客 户，可以继续沿用原有的查询分析习惯，在不改 变使用方式习惯的情况下，通过Elasticsearch 兼容接口的方式使用Kibana访问SLS。解决问题 如何使用ACK部署Wordpress应用，并使 用SLS采集容器日志到SLS 最大程度保障Elastic...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
kafka-message-sync.py：同步消息的示例代码 metadata_cloud_kafka_to_idc_kafka.py：阿里云Kafka向自建IDCKafka同步元数 据的示例代码。 metadata_cloud_kafka_to_cloud_kafka.py：阿里云Kafka向阿里云Kafka同步元数 据的示例代码。以上三份Python代码在文档后续内容中会替换到函数计算的函数中。文档版本：...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
25 文档版本：20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 场景验证 这里数据库名 kafkaToMongoDB 查询 中的数据 2.4.MongoDB 步骤1 双击新建的库，可以看到默认的 test 集合，通过 db.test.find().limit(20);命令可以查询 该集合的数据，可以看到目前该集合中是没有任何数据的。26 文档版本...
云数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
—— 慧策（北京掌上先机网络科技有限公司）CIO 王兴华常见问题选型计费稳定性安全合规Q：RDS MySQL 与自建 MySQL 数据库对比优势A：云数据库 RDS MySQL 提供高可用、高可靠、高安全、可扩展的托管数据库服务，同性能的 RDS MySQL 数据库价格相比 ECS 自建 MySQL 数据库和自购服务器搭建 MySQL 数据库更加低廉，能够节约大....
来自：
云产品
数据库自动扩缩容和自动SQL优化
方案使用数据库自治服务DAS实现RDS MySQL数据库的自动扩缩容和自动SQL优化，将基于人工的手动式运维转变为基于智能的主动式持续优化，具有数据库运维成本低，服务稳定性高的优势。
相关产品云服务器 ECS云数据库 RDS MySQL 版数据库自治服务 DAS专有网络 VPC在线咨询方案优势节省管理成本使用一个平台管理数据库，降低管理复杂性，同时提供数据库自感知、自修复、自优化、自安全的服务，减少数据库的管理成本。提升稳定性根据业务负载实时调整数据库配置，保证高负载期的性能，减少业务负载波动引起的宕...
来自：
解决方案
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
值 topic test_kafka_perf1 test_kafka_perf1 test_kafka_perf1 group perf-consumer perf-consumer perf-consumer 分区数 24 24 24 产品介绍 专有网络VPC（VirtualPrivateCloud）：是用户基于阿里云创建的自定义私有网 络,不同的专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创建和 管理云产品实例，比如...
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云，提供高并发，高吞吐，高安全等特性，适用于金融，电力，电信，制造业等传统客户的核心交易系统。
数据库安装包含安装GRID，安装Database两部分，本次安装采用图形化安装方式。本次安装所需的软件需要提前上传到两个节点的/tmp/oraclemedia文件夹下。上传后解压缩成如下目录结构。3.1.1.通过CEN-TR配置组播 步骤1 使用ssh分别登录到ECS节点rac1和rac2。sshroot@公网IP 步骤2 安装弹性网卡识别驱动，CentOS7.9版本支持辅助...
云原生数据库
PolarDB是阿里云自研的云原生数据库，在存储计算分离架构下，利用了软硬件结合的优势，为用户提供秒级弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态，支持分布式扩展，高度兼容Oracle语法。
采用存储和计算分离架构，使得数据库服务器的CPU、内存能够快速扩容，只需数分钟即可完成集群配置升降级.利用底层分布式存储的快照技术，只需分钟级别即可完成对上TB数据量大小的数据库的备份，且整个备份过程不需要加锁，效率高，影响小.云数据库PolarDB MySQL.云数据库HBase.云原生数据仓库ADB MySQL.数据传输DTS.推荐...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您