Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
弹性公网IP：弹性公网IP是独立的公网IP资源，可与阿里云专有网络VPC类型 的云服务器ECS、NAT网关、ENI网卡、私网负载均衡SLB绑定，并可以动态 解绑满足灵活管理的要求。弹性公网IP可为您在云上部署的网站提供Internet访 问服务。 消息队列Kafka版，云托管的Kafka服务。实例版本（创建时指定规格）可以提 供与开源Kafka...
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
这里以WordPress为例 重新回到dev_claissic的ssh连接窗口,如果失去连接可以重新登陆sshroot@101.37.252.32#创建应用目录 mkdir-p/makeWordpress cd/makeWordpress#下载应用程序 wget https://raw.githubusercontent.com/docker-library/wordpress/841f2801d0a6d0cf73321a5554 d6bade4c143417/php7.3/apache/Dockerfile #获取...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
建议为分组绑定独立域名，使用独立域名访问不会 受到此限制，详见配置过程：https://help.aliyun.com/document_detail/155022.html 由于没有申请独立的域名，默认以附件的形式返回数据，打开附件，内容如下：3.6.全链路测试 3.6.1.新增会员信息 步骤1 登录 DMS，通过手工的方式执行下面 SQL语句，在 RDS数据库中进行数据的...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
部署大致需要 15分钟时间，部署完成后，如下：文档版本：20220209 7 异地双活场景下的数据双向同步 基础环境搭建 注意：这里 cen连接了两个 vpc，会自动创建路由，还需要到控制台绑定异地共享带宽。dts连接了两个 rds，会自动创建双向同步实例，还需要到控制台配置同步链路。1.2.创建云效项目组和项目 步骤1 打开阿里云云效...
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
在 ECS上部署应用 步骤1 远程连接登录 ECS（后续测试需要下载公网资源，需临时绑定 EIP后进行操作）。注意添加安全组配置（添加 22和 80端口允许访问）。文档版本：20201209 14 跨云迁移单写双读过渡架构 服务部署 文档版本：20201209 15 跨云迁移单写双读过渡架构 服务部署 步骤2 安装 git命令行，并使用 git clone ...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
cd~wget https://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz tar zxfapache-flume-1.8.0-bin.tar.gz文档版本：20210714 21 自建Hadoop数据迁移到阿里云 EMR 自建 Hadoop集群环境搭建 2.下载 flume-env.sh配置文件。cd~/apache-flume-1.8.0-bin/conf wget ...
网络安全升级支持IPv6
场景描述 关键信息基础设施支持IPv6已经上升到国家战 略，公共云基础设施为云上客户系统支持IPv6 提供了完整的解决方案及产品。本最佳实践是在 现有WAF和高防IP作为网络安全架构基础上， 如何升级支持IPv6，同时满足云上和线下IDC 需求，满足合规要求。 解决问题 1.网络支持IPv6 2.支持V4和V6双栈 3.满足监管合规要求 产品列表 Web应用防火墙WAF DDoS高防IP DDoS防护包
文档版本：20210830 3 网络安全升级支持 IPv6 搭建 IPv4基础业务系统 步骤4 执行以下命令，进行安装部署 apache2 httpd服务，作为 webserver应用。yum install-y httpd cat/var/www/html/index.html Hostname:`hostname` EOF service httpd start 1.3. 配置 SLB 步骤1 登录 SLB控制台。...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
本实践方案中:hive db:log_data_warehouse hive table:apache_logs maxcompute project:workspace20200221 maxcompute table:odps_apache_logs 通过下面命令生成 mapping文件：cd/root/odps-data-carrier vim hive_maxcompute_tables_mapping.ini 将下列内容粘贴到文件中，保存后退出：log_data_warehouse.apache_logs:...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
过程不再赘述 文档版本：20211203 67 SLS多云日志采集、处理及分析 日志服务器集群公网日志数据传递到日志服务 步骤4 创建日志服务 Project以及日志 Logstore 按照 3.1节的方式在华东 2（上海）区域创建名为 sls-test-121的日志服务 Project以 及名为 test20191009的日志 Logstore,并为 Logstore开启索引，过程不再赘述 ...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
其底层基础 设施采用阿里双11异地多活架构，为数千下游应用提供实时数据流，已在线上稳 定运行6年之久。详见：https://www.aliyun.com/product/dts OSS：海量、安全、低成本、高可靠的云存储服务，提供99.9999999999%(12 个9)的数据持久性。使用RESTfulAPI可以在互联网任何位置存储和访问，容量 和处理能力弹性扩展，...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。 同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多VPC下的数据迁移和 同步，本方案提供详细的操作步骤，帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通，特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网（CEN）、云服务器（ECS）、数据库（RDS）、 数据库（Redis）、数据传输（DTS）、负载均衡（SLB） 块存储、专有网络（VPC）
步骤2 在实例列表页面，单击已创建的实例（wp001）操作列下的更多>网络和安全组>绑 定弹性 IP。文档版本：20191217 16 互联网业务全球化互通组网最佳实践 模拟应用国内部署 步骤3 在绑定弹性 IP对话框中，从下拉列表中选择已申请的 EIP，并单击确定。在实例列表中可查看到实例（wp001）已绑定 EIP。1.4.部署 Redis服务 开通...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
独立的公网 IP资源，可以绑定到阿里 云专有网络 VPC类型的 ECS、NAT网关、私网负载均衡 SLB上，并可以动态解 绑，实现公网 IP和 ECS、NAT网关、SLB的解耦，满足灵活管理的要求。详见：https://www.aliyun.com/product/eip SLB：负载均衡（Server Load Balancer，简称 SLB）。多台云服务器进行流量分 发的负载均衡服务，可以...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
文档版本：20200331 63数据湖-在线学习场景数据分析 附录-TCP DS oss在emr里的引用路径格式，oss:/Bucket域名/路径 注意：创建EMR时，默认使用的权限角色为AliyunEMRECSRolePolicy，包含了对 OSS的权限，实际生产环境中创建EMR时请根据需要使用自定义角色。步骤2 生成测试数据和查询SQL，执行命令：hive dropdatabasetpcds_...
- 产品推荐
- 这些文档可能帮助您