基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
利用函数计算 FC，可以快速高效的搭建数据处理链路，用户只需要 关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函 产品列表 数计算 FC也支持多种下游，OSS/数据库/消息队 列/ES等都可以自定义的对接。专有网络 VPC 阿里云交换机 解决问题 阿里云安全组•快速搭建起数据处理全链路 ...
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程，模拟了数据库迁移所需的工作，帮助您快速上手。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景RDS 解决的问题如何迁移到 RDS迁移前后对比优惠购买自建数据库迁移到云数据库本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，...
来自：
解决方案
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 最佳实践 场景描述 业务架构 基于阿里云 Kafka 消息的 Key 或者消息体里的内 容做判断，然后对 MongoDB 做增，删，改的操 作。在传统 ETL 流程的基础上进一步增加了灵活 性和可扩展性。应用场景 在大数据 ETL 场景，将 Kafka 中的消息流转到其 他下游服务...
Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库（Oracle兼容 版）。通过ADAM将Oracle数据库迁移到 PolarDB数据库，可以降低应用升级、运 维成本，同时提升系统弹性，实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云， 通过ADAM评估迁移工具，降低迁移 风险，提高迁移效率。 2.使用PolarDB（Oracle兼容版）数据 库，提升数据库并发读能力，降低运维 成本。 产品列表 数据库和应用迁移（ADAM） PolarDB（Oracle兼容版） 云服务器（ECS） 专有网络（VPC）
方案优势 将 Oracle数据库迁移到阿里云 PolarDB数据库降低运维成本，方便扩展，满足数 文档版本：20220210 1 Oracle数据库与应用迁移 PolarDB 最佳实践概述 据库弹性需求。迁移过程中采用 ADAM评估分析工具，在迁移前就对数据和应用改造的工作量和 风险完全掌握，便于决策并有效降低实施风险。迁移过程中通过专业工具，自动...
FPGA加速图片和视频转码
场景描述 场景1：图片转码 移动互联网早已进入读图时代，目前的图片都是 JPEG格式，尺寸太大，导致传输占用更多的网络 带宽，花费更多的传输时间并占用更多的存储空 间。JPEG图片转码为WebP/HEIF需要消耗大量的 计算能力。使用阿里云FaaS加速图片转码解决 方案将使客户TCO降低约40%。 场景2：视频转码 到2022年，82%的IP流量都将来自于视频的录 制、上传和播放。HEVC/H.265无论从画质还是码 率，都比H.264有明显的优势，但是将视频将 H.264编码为H.265将消耗巨大的算力。使用阿 里云FaaS加速视频转码将显著降低视频大小， 节省网络流量，降低成本。 解决的问题 通过FPGA云服务器进行高效图片转 码 通过FPGA云服务器进行高效视频转 码 产品列表 VPC，ECS，FPGA，OSS
20181111_xgh265_01-fixed-qp-mode-with-HDR2-%d.png 步骤2 将所有获取到的 png文件下载到本地，选取某帧截图进行对比，如下所示：文档版本：20210906 14 使用 FPGA云服务器加速图片和视频转码 FPGA云服务器加速图片转码 截图 1：上图 H264，下图 H265+HDR2 文档版本：20210906 15 使用 FPGA云服务器加速图片和视频转码 ...
高性能数据库ECS测试及选型
概述 客户自建高性能数据库（如电商大促）在做ECS选型时，对磁盘的IO、网络的吞吐都有很大要求，为了跟接近真实业务场景，使用HammerDB选定真实业务模型测试其TPM。通过对比TPM对比ECS性价比进行选型。同时使用FIO测试磁盘性能作为参考。 适用场景 自建数据库性能测试 磁盘性能测试 ECS选型建议 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 基于标准的TPC-C测试，接近真实业务场景。 提供多规格实例测试，快速选择最优性价比实例。
高性能数据库 ECS测试及选型 最佳实践 场景描述 业务架构 客户自建高性能数据库（如电商大促）在做 ECS选 型时，对磁盘的 IO、网络的吞吐都有很大要求，为 了跟接近真实业务场景，使用 HammerDB选定真 实业务模型测试其 TPM。通过对比 TPM对比 ECS 性价比进行选型。同时使用 FIO测试磁盘性能作为 参考。解决问题 自建数据库...
数据库自治服务DAS
阿里云数据库自治服务（Database Autonomy Service，简称DAS）是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务，帮助用户消除数据库管理的复杂性及人工操作引发的服务故障，有效保障数据库服务的稳定、安全及高效。
提供高危SQL识别、SQL注入检测、新增访问来源识别、敏感数据访问发现等服务，快速识别数据库异常访问、拖库等行为，有效保障数据库安全.SQL Server是发行最早的商用数据库产品之一，支持复杂的SQL查询，性能优秀，对基于Windows平台.NET架构的应用程序具有完美的支持.云数据库RDS SQL Server 版.高可靠双机热备架构及可无缝...
来自：
云产品
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
步骤2 部署完成后，重启 Hive MetaStore和 HiveServer2 步骤3 由于在创建 EMR集群时我们指定了 RDS for MySQL实例的数据库作为 Hive的元数 据库，但是此时元数据库还未创建，因此在 EMR控制台可以看到 Hive MetaStore服 务异常停止。文档版本：20210721 25 自建Hive数据仓库跨版本迁移到阿里云 EMR 创建 EMR集群 通过查看 ...
云数据库ClickHouse
云数据库ClickHouse 是阿里云提供的分布式实时分析型列式数据库服务。具有高性能、开箱即用、企业特性支持。广泛应用于流量分析、广告营销分析、行为分析、人群划分、客户画像、敏捷BI、数据集市、网络监控、分布式服务和链路监控等业务场景。
新用户购买 单副本版 标准型 8核32GB 100GB 1节点享首月9.9元，首次转续费享月付7折，年付6折.SQL Server是发行最早的商用数据库产品之一，支持复杂的SQL查询，性能优秀，对基于Windows平台.NET架构的应用程序具有完美的支持.云数据库RDS SQL Server 版.高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及...
来自：
云产品
轻量应用服务器
轻量应用服务器 （Simple Application Server）是可快速搭建且易于管理的轻量级云服务器。精选定制应用镜像，提供基于单台服务器的应用部署，安全管理，运维监控等服务，一站式提升您的服务器使用体验和效率。
在LAMP上搭建Mantis问题跟踪系统，Wiki知识库系统.支持的系统镜像.云解析 DNS.Web应用防火墙.云数据库 RDS.推荐搭配使用.知识效率管理.知识效率管理，工具垂手可得.选择精品镜像创建预装图形化环境，Linux学习之旅一键启航.支持的系统镜像.专有网络 VPC.云数据库 RDS.推荐搭配使用.云端学习环境.云端学习环境，随时随地体验...
来自：
云产品
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
关键技术选型 1.1.ClickHouse vs Presto 面对海量的数据，我们如何进行数据库的选项，这里对比了开源的两种常见分析性数 据库。ClickHouse对数据采用有序存储的方式，其核心思想是充分利用了磁盘批量顺序读写 的性能要远远高于随机读写的特征，并且结合 LSM tree的设计进一步进行优化，使得 写性能达到最优（可达到 200MB/S...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
云上高并发系统改造 最佳实践 场景描述 部署架构图 ...通常可以预估 1到 2 年的数据增长量，用估算出的总数据量除以总的物理分库数，再除以建议的最大数 据量 500万，即可得出每个物理分库上需要创建的物理分表数：物理分库上的物理分表数=向上取整(估算的总数据量/(RDS 实例数*8)/5,000,000)详细拆分 DEMO 可参考官网文 档：...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
基于 DDH+MyBase降本合规 最佳实践 部署架构图 场景描述 出版、金融、保险等传统行业一方面希望能借助 云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU超 分超配）以及满足更严格合规和监管要求的考 虑，希望能对云上资源有更多的自主控制权（监 管合规）。从业务系统架构云上部署的...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
hadoop fs-ls/extwarehouse/tpcds/2 文档版本：20211029 66 CDH迁移升级 CDP最佳实践 数据迁移 进一步查看文件中的演示数据，都已正常复制（可以和 CDH中的同一个文件进行对 比）。hadoop fs-cat/extwarehouse/tpcds/2/call_center/data-m-00001 可见，HDFS已经正常复制到了 CDP集群。2.2.Hive/Impala迁移 首先，登录 CDH的...
可观测链路 OpenTelemetry 版
针对 PHP、C++、Go、Node.js 等多语言应用，提供端到端全链路追踪、应用监控与告警、链路拓扑、日志关联分析能力，并基于 OpenTelemetry 开源标准，兼容 Jaeger、Zipkin、SkyWalking 等开源项目数据上报。快速发现分布式应用架构下的性能瓶颈，缩短错/慢调用根因定位耗时，提高全栈开发与诊断效率。
多语言类应用统一基于 OpenTelemetry 标准接入，从而对所有接入的应用进行统一的监控告警，提供应用、接口、主机地址等多维度监控能力，并提供开箱即用的默认监控大盘。同时通过调用关系动态发现与渲染全局服务拓扑。针对业务场景的自定义需求，支持根据既有数据源自定义指标监控大盘.多语言应用性能监控及全局可视化.多...
来自：
云产品
移动测试
阿里云移动测试（Mobile Testing）是为广大企业客户和移动开发者提供真机测试服务的云平台，拥有大量热门机型，提供7x24全天候App测试服务，帮助客户发现APP中的各类隐患（应用崩溃、各类兼容性问题、功能性问题、性能问题等），减少用户流失，提高APP质量和市场竞争力。
远程连接云真机，方便对手机进行操作、代码调试.远程真机测试.云服务器ECS.云数据库RDS MySQL 版.云数据库 Redis 版.推荐搭配使用.金融：混合应用场景.身份证自动上传、随机密码键盘识别.针对游戏测试难、验证难、场景多进行专项优化，提供高质量测试用例，进行性能瓶颈检测并提供解决方案，有效提升识别率，支持弱网验证....
来自：
云产品
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
pip install PyMySQL 若安装的 PyMySQL 版本号>1.0，修 改 数 据 库 连 接 语 句 为：db=pymysql.connect(host=dbhost,user=dbuser,password=dbpass,database=dbname)步骤4 通过运行脚本 python insert_demodata_into_TDE_finance_table.py(使用前先替换文 件里 rds的域名，用户名以及密码)，往 finance表中插入一条数据，...
- 产品推荐
- 这些文档可能帮助您