Serverless 开发平台
阿里云Serverless 开发平台是无服务器开发平台，可通过Serverless 应用部署和开发快速提高Serverless 项目研发、应用集成部署与运维效能，无需考虑服务器即可快速构建并运行应用程序。
2022-12-09Serverless 开发速查手册本书旨在通过简洁明了的语言、真实案例、以及开放的源代码，为读者介绍Serverless架构工具链ServerlessDevs的相关基础知识，体会ServerlessDevs的重要价值；并帮助开发者顺利在Serverless架构下实现开发，上线Serverless应用项目，做到“像玩手机一样玩转Serverless架构“，更加直接地...
来自：
云产品
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
适用场景 EMR元数据迁移至 DLF 元数据迁移验证 数据一致性校验 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：方案优势 统一元数据管理，快速构建数据湖架构。没有数据丢失风险。较短的服务停机时间。文档版本：20220125 1 湖仓一体架构 EMR元数据迁移DLF 前置条件 前置条件 在进行本文操作前，您...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
适用场景 Flink各类任务如何迁移 数据准确性如何校验 业务稳定性如何验证 Flink集群容量如何评估 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：文档版本：20211222 1 开源 Flink迁移实时计算Flink全托管版 最佳实践概述 迁移实施流程如下：方案优势 您只需要专注于业务开发，无需关心集群运维。...
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
适用场景◆数据迁移链路的高可用◆跨云迁移过渡期架构◆读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。使用数据库网关做专线和公网互备。流量逐渐灰度验证，保障迁移平滑过渡。安全：原生的多租户系统，...
高性能数据库ECS测试及选型
概述 客户自建高性能数据库（如电商大促）在做ECS选型时，对磁盘的IO、网络的吞吐都有很大要求，为了跟接近真实业务场景，使用HammerDB选定真实业务模型测试其TPM。通过对比TPM对比ECS性价比进行选型。同时使用FIO测试磁盘性能作为参考。 适用场景 自建数据库性能测试 磁盘性能测试 ECS选型建议 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 基于标准的TPC-C测试，接近真实业务场景。 提供多规格实例测试，快速选择最优性价比实例。
解决问题 自建数据库性能测试 磁盘性能测试 产品列表 ECS选型建议 专用网络 VPC 云服务器 ECS HammerDB FIO 阿里云最佳实践技术分享群 最佳实践频道 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 高性能数据库 ECS测试及选型 最佳实践 文档版本：20201104 文档版本：20150122（发布日期）II 高性能...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
数据一致性校验 最佳实践频道 阿里云最佳实践技术分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 CDH迁移升级 CDP 最佳实践 文档版本：20211029 文档版本：20150122（发布日期）II CDH迁移升级 CDP最佳实践 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 CDH迁移升级 CDP最佳实践 ...
云数据库RDS MySQL版备份恢复
场景描述 用户数据库数据， 部分需要快速、 小颗粒度恢复、 部分需要异地备份、部分需求长期归档。 当前自建 MySQL 上建立完善的备份/恢复系统无法完美满足用户需求， 且建设/维护成本很高。 RDS 的完善的备份/恢复方案可以有效帮助到用户。 方案优势 1. 可以方便实现本地备份及库表级别快速恢复， 快速应对误操作误删除等逻辑错误， 降低业务损失。 2. 可以方便实现异地备份， 实现数据级容灾， 满足合规要求。 3. 可以方便将数据进行归档， 实现长期数据的高性价比保存方案。 4. 有效提升用户数据备份效率， 降低维护工作量。 解决问题 1. 自建数据库发生误操作时恢复复杂 2. 部分数据发生错误进行恢复时可能影响其他数据访问 3. 异地备份操作复杂 4. 长期数据保存成本较高 5. 备份恢复系统维护所需人力成本较高
异地备份、长期备份等 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：文档版本：20210427（发布日期）2 云数据库 RDS MySQL版备份恢复 最佳实践概述 方案优势 方便实现本地备份及库表级别快速恢复，快速应对误操作误删除等逻辑错误，降 低业务损失。方便实现异地备份，实现数据级容灾，满足合规要求...
PolarDB 应对大并发复杂查询实践
MySQL架构是单线程处理SQL，遇到大并发复杂查询时，需要排队长时间等待，容易形成慢查询，影响业务。PolarDB并发查询能力可以很好解决此问题。
适用场景 多条件查询、多表关联等容易形成慢查询的业务场景 高并发，业务耦合性较强等无法快速拆分复杂查询业务到数仓的场景 轻度分析场景，不希望使用较重的架构搭建数仓或大数据环境 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：文档版本：20210412 1 PolarDB如何应对大并发复杂查询 最佳实践...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
适用场景◆数据库双向同步◆数据库全局 ID不冲突◆双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。奇偶 ID涉及，避免数据冲突。文档版本：20220209 1 异地双活场景下的数据双向同步 最佳实践概述 DTS多种处理...
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：方案优势 简单易用：开箱即用，使用门槛低，数据自动备份、多种安全认证、字段级别权限 管控。性能优越：PB级数据准实时搜索引擎，查询结果毫秒级返回。功能强大：支持多种数据结构的复杂查询及字段级的全文匹配、模糊匹配、同时集 成了阿里达摩院 NLP...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
日志 HIVE分析 基于 DataWorks一站式开发 数据治理 产品列表 最佳实践频道 阿里云最佳实践技术分享群 实时计算、EMR EIP、VPC ECS DataWorks 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于Dataworks的大数据 一站式开发及数据治理 最佳实践 文档版本：20210207 文档版本：20150122（发布日期）II...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤。方案优势 易用性 您可以简单选择所需 ECS机型（CPU、内存）与磁盘，并选择所需的软件，进行 自动化部署。经济性 您可以按需创建集群，即离线作业运行结束就可以释放集群，还可以在需要时动 态地增加节点。深度整合 E-MapReduce 与阿里云其它产品（例如...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
适用场景 自建 Hadoop集群搬迁到 MaxCompute 自建 Hbase集群搬迁到云 Hbase 自建 Kafka或服务器数据实时同步到 MaxCompute 自建 Azkaban搬迁到 Dataworks 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：文档版本：20210723 1 自建Hadoop迁移MaxCompute 最佳实践概述 方案优势 安全性：基于 IPSec ...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
本实践方案提供如下场景的最佳实践：基于 IPSec VPN隧道+DistCp（Hadoop原生工具），将数据迁移到阿里云 EMR集 群，目标存储包括 HDFS，阿里云 OSS和阿里云 EMR的 Jindo 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：方案优势 安全性 基于 IPSec VPN/专线的方式进行数据安全传输。低成本 在阿里云...
云数据库 RDS MySQL版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云AI 助理备案控制台全部产品瑶池数据库云数据库 RDS云数据库 RDS MySQL 版云数据库 RDS MySQL 版产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规客户案例常见问题社区云数据库 RDS MySQL 版稳定可靠、可弹性伸缩的在线 MySQL...
来自：
云产品
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境，运行药物筛选应用AutodockVina 的场景中，这里采用批处理方式来提交 作业，并可以可视化计算结果。 方案架构 1.计算之前，将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时，将数据从OSS拉取到文件共享存储NAS上 3.计算时，在EHPC集群上进行，计算节点从NAS上读写数据 • 容量型NAS：低成本，大容量 • 性能型NAS：适合高IOPS应用，作为临时目录 • CPFS：适合超大规模，并行度极高的作业 4.计算节点： • 如果对计算时间不敏感，希望低成本运算，可选ECS实例 • 如果时效性要求高，建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大，可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接（moleculardocking）模拟计算进行药物筛选，是模拟小分子配体和生物大分子受体的 相互作用，预测配体和受体的结合模式和亲和力。 • 通常，有很多已有的配体库，如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体，模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体，不同配体之间没有依赖，因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
使用 OSS保存计算结果 产品列表 弹性高性能计算 E-HPC 文件存储 NAS 对象存储 OSS 云速搭 CADT 最佳实践频道 阿里云最佳实践技术分享群 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 EHPC药物筛选最佳实践 文档版本：20210811 II 企业上云实践 EHPC...
日志服务sls
日志服务（Log Service，简称Log）是针对实时数据一站式服务，在阿里集团经历大量大数据场景锤炼而成。无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能，帮助提升运维、运营效率，建立DT时代海量日志处理能力。
阿里十年技术沉淀｜深度解析百PB级数据总线技术.聊聊日志硬扫描，阿里 Log Scan 的设计与实践.日志服务视频专区.Kubernetes 日志采集实操演练.日志服务 Demo 体验.Nginx日志查询.AIOps 根因分析.手把手进阶学习日志服务.注册阿里云，免费领日志服务 SLS.日志服务 SLS 和开源 ELK 全面对比.云原生可观测运维解决方案.阿里云...
来自：
云产品
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
编写 template.yml 步骤1 新建一个目录 fc，在该目录下创建一个名为 template.yml的 YAML文件，该文件主要 描述要创建的函数的各项配置，就是将函数计算控制台上配置的那些配置信息以 YAML格式写在文件里。mkdir fc cd fc touch template.yml 步骤2 首先，我们导出 dataCollector服务的 yml模板，然后在其基础上增加 ...
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受，对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量，因此对于系统的稳定性非常关注，结合阿里云的容器服务、链路追踪、弹性容器ECI等产品，帮助客户业务实现容器化改造，并且方便发现系统应用架构中的瓶颈等问题，实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ￚ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ￚ 运维研发效率提高，链路追踪服务端全托管，免运维。 ￚ 链路追踪的应用调用链分析能力结合ECI高弹性能力，提升应用系统在洪峰流量冲击下的稳定性。 ￚ 链路追踪接入方便，ECI POD弹性伸缩，节省用户运维成本和云资源使用成本。 ￚ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩，更丰富的云原生弹性能力。
基于链路追踪+ECI的洪峰流量应对 最佳实践 业务架构 场景描述 云原生技术已经为越来越多的互联网客户接 受，对于在线教育、互动娱乐、电商等类型的 客户会由于业务的原因存在突增业务流量，因 此对于系统的稳定性非常关注，结合阿里云的 容器服务、链路追踪、弹性容器 ECI等产品，帮助客户发现应用链路中的瓶颈，同时应对洪...
- 产品推荐
- 这些文档可能帮助您