SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
应用场景 客户在阿里云不同region、阿里云以外的其他 云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）、或者IDC 等业务数据或应 用系统产品的日志数据等，汇总处理后，通过 标准的通用的协议Kafka，数据入湖到阿里云 SLS日志中心，进行统一分析和处理。解决问题 将多云、IDC分散的数据，通过标准协议，汇 产品...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
弹性公网IP：是独立的公网IP资源，可与阿里云专有网络VPC类型的云服务器ECS、NAT网关、ENI 网卡、私网负载均衡SLB绑定，并可以动态解绑满足灵活管理的要求。弹性公网IP可为您在云上部署 的网站提供Internet访问服务。 NAT网关（NATGateway）提供公网NAT和私网NAT两种功能。公网NAT网关通过自定义SNAT、文档版本：...
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云，提供高并发，高吞吐，高安全等特性，适用于金融，电力，电信，制造业等传统客户的核心交易系统。
阿里云虚拟网络实现 的是基于二层的高可用IP，通用、简单、易用。HAVIP 以secondaryip的形式 存在网卡上，可以有单独的转发策略，通过HAVIP可以实现浮动IP，适用于HA 主备容灾或者双活高可用的场景。文档版本：20240206 IIIOracleRAC12C云上部署 前言 弹性网卡ENI：弹性网卡ENI（ElasticNetworkInterface）是一种可以...
OA云资源申请流程自动化
在企业级客户场景中，对云资源的使用通常需要经过内部OA流程审批通过后再进行部署。本最佳实践致力于提供一个通用解决方案，以解决OA云资源申请流程中的自动化问题，提高运维效率，以更好地支撑业务创新。
步骤11 进入 RDS控制台，给 RDS实例添加 RDS白名单，允许 ECS IP，以及 OA server地 址访问。文档版本：20240130 12 OA云资源申请流程自动化 CADT部署集成环境 步骤12 创建 ram role角色，登录访问控制，https://ram.console.aliyun.com/roles，创建角色。选择阿里云服务 输入角色名称和受信服务。文档版本：20240130 13 OA...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
本实践通过 HttpClient.java、IP2Region.java实现将访问 APP的 IP地址转化为地理 位置。IP2Region.java 通过 NAT 网 关 配 置 SNAT 访 问 公 网 服 务 http://whois.pconline.com.cn/ipJson.jsp?json=true&ip={ip}获取地理位置信息。本方式 仅演示外网访问和自定义函数 UDX，不适合生产环境使用。public class IP2Region ...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
scpapp1_log_gen.pyroot@47.xxx.xxx.145:/root/注意：需要修改脚本里面kafka的IP地址为您自己的Kafka地址。步骤2 ssh登录webserver后，执行以下命令。mkdir-p/home/app1/log pythonapp1_log_gen.py 文档版本：20200331 36数据湖-在线学习场景数据分析 应用场景 运行一次会生成100万行日志数据，大小约为85M。这里可以根据...
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
说明：系统初始化也可以通过服务助手来进行，SA系列的存储阵列缺省的服务IP地 址为：192.168.70.10/11，熟练的用户也可以在网络连通（与控制器的端口1直连或 者通过网络交换机连接）后通过http://服务IP/service来初始化系统。文档版本：20191223 15 混合云存储构建VMware虚拟化平台 存储阵列系统初始化配置 2.5.网络连接 ...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
若实际生产环境，需要调整允许访问的 IP地址（段），可以在白名单进行调整，调 整后 DRDS只会放行白名单内的 IP访问。文档版本：20220506（发布日期）33 云上高并发系统改造 部署高并发数据库环境 4.3.为 DRDS配置 private zone 步骤1 点击进入 tpch数据库。步骤2 复制内网地址。可以看到用户名与数据库名相同。步骤3 回到 ...
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
详情：https://www.aliyun.com/product/developerservices/cadt 弹性公网 IP（EIP）：独立的公网 IP资源，可以绑定到阿里云专有网络 VPC类型 的 ECS、NAT网关、私网负载均衡 SLB上，并可以动态解绑，实现公网 IP和 ECS、NAT网关、SLB的解耦，满足灵活管理的要求。文档版本：20220121 III 基于 K8S多集群隔离环境下的 DevOps...
基于HBR云上统一备份
场景描述 混合云备份（简称HBR）是一种简单易用且高性价 比的在线备份服务，可以为阿里云ECS，NAS，OSS 以及自建机房内的各类数据提供安全，高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
应用范围 通用行业 名词解释 专有网络 VPC：Virtual Private Cloud，简称 VPC，是基于阿里云创建的自定义 私有网络，不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络 内创建和管理云产品实例，比如 ECS、负载均衡、RDS等。在部署云资源前，您需要结合具体业务，规划 VPC和交换机的数量及网段等。更多信息，请...
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型，阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
办公网络 IP段：即线下关键用户/运维用户所在的子网 IP CIDR地址 生产应用 IP段：即生产系统应用服务器的 IP地址 开发应用 IP段：即开发系统应用服务器的 IP地址 测试应用 IP段：即测试系统应用服务器的 IP地址 sap router IP地址：sap router服务器的 IP 地址 安全组名称 规则类型 协议类型 端口范围 目标 IP地址 入方向 ...
云服务器基准性能测试
本最佳实践适合利用标准的benchmark工具对云服务器的CPU、内存、网络和磁盘性能进行测试的场景。
您可以像使用物理硬盘一样格式化并建立文件系统来使用块存储，满 足 大 部 分 通 用 业 务 场 景 下 的 数 据 存 储 需 求。详见 https://help.aliyun.com/document_detail/63136.html 云监控（CloudMonitor）是一项针对阿里云资源和互联网应用进行监控的服务。云监控为云上用户提供开箱即用的企业级开放型一站式监控解决...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
tcp_tx_rate和tcp_rx_rate是tcp网 络流量。以上脚本使用perseus框架来进行测试，如果要使用horovod框架，需要将脚本中use_perseus 改成use_horovod就可以了。修改后脚本如下：[root@scc001perseus]#catpre_train_horovod.sh#!bin/bash if[$#-ne2];then echo"Usage:$0workersgpus_per_worker"exit-1 fi 46企业上云实践 基于...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
这种动作（网页浏览，搜索和其他用户的行动）是在现代网 络上的许多社会功能的一个关键因素，这些数据通常是由于吞吐量的要求而通过 处理日志和日志聚合来解决。对于像 Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka 的目的是通过 文档版本：20210723 III 自建Hadoop迁移...
企业办公安全访问一体化
本场景模拟企业办公环境，基于 CSAS 服务构 建企业办公安全一体化方案，将“安全 + 网络” 能力无缝融合，实现了对云下办公终端安全的统 一管理，企业无需在投资复杂且昂贵的传统硬件 安全设备，即可快速构建安全、可靠、低成本的 办公安全防护体系。 1. 企业办公环境访问互联网的安全管理 2. 企业办公环境访问内网服务的安全管理 3. 企业办公网络、安全一体化管理
LDAP服务器地址需为公网IP地址，若无法提供公网IP地址，请联系阿里云技术 团队。 同一时刻只有一个LDAP服务生效。IdP属性配置。文档版本：20210129 25企业办公安全一体化最佳实践 安全访问管理（CSAS）配置 3.2.1.CSAS客户端部署及部署 安装包下载，远程登录到ECSpc-bp220，使用之前创建的用户名user001登录到域 账户...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
节点 IP数量 如果您选择的网络模式为 Flannel，您需设置节点 IP 数量。说明：节点 IP数量是指可分配给一个节点的 IP数量，建议保 持默认值。文档版本：20201127 24 基于ECI+FaaS构建游戏战斗结算服 游戏架构搭建篇 文档版本：20201127 25 基于ECI+FaaS构建游戏战斗结算服 游戏架构搭建篇 步骤5 Worker配置。配置项 说明 ...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
收集 3个节点的私网 IP地址和对应的主机名，如下所示（请根据您环境的实际 IP地 址进行修改）：192.168.100.37 master 192.168.100.38 slave1 192.168.100.39 slave2 192.168.100.41 slave3 文档版本：20210714 16 自建Hadoop数据迁移到阿里云 EMR 自建 Hadoop集群环境搭建 通过 SSH远程登录 hadoop-master节点所在的 ECS...
- 产品推荐
- 这些文档可能帮助您