SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
应用场景 客户在阿里云不同region、阿里云以外的其他 云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）、或者IDC 等业务数据或应 用系统产品的日志数据等，汇总处理后，通过 标准的通用的协议Kafka，数据入湖到阿里云 SLS日志中心，进行统一分析和处理。解决问题 将多云、IDC分散的数据，通过标准协议，汇 产品...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
查看服务注册情况 步骤1 登录MSE注册配置中心，mseprovider、nacosconsumer两个服务均已完成注册：点击回退按钮 文档版本：20240229基于SpringCloud玩转MSE 步骤2 查看注册配置中心mseprovider实例数量和元数据版本（首次需等待分钟级）总共4个实例：2个base版本（对应的是mseprovider应用）2个gray版本（对应的是...
企业办公安全访问一体化
本场景模拟企业办公环境，基于 CSAS 服务构 建企业办公安全一体化方案，将“安全 + 网络” 能力无缝融合，实现了对云下办公终端安全的统 一管理，企业无需在投资复杂且昂贵的传统硬件 安全设备，即可快速构建安全、可靠、低成本的 办公安全防护体系。 1. 企业办公环境访问互联网的安全管理 2. 企业办公环境访问内网服务的安全管理 3. 企业办公网络、安全一体化管理
应用范围 通用行业，具有集团/分支机构的企业客户。名词解释 专有网络VPC：VirtualPrivateCloud，简称VPC，是基于阿里云创建的自定义私 有网络，不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络内创 建和管理云产品实例，比如ECS、负载均衡、RDS等。在部署云资源前，您需要 结合具体业务，规划VPC和交换机...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
或已保有，本最佳实践新购交 换机）vswitch名 Vswitch-G 可用区 华东 2 可用区 G IPv4网段 192.168.2.0/24 EIP EIP名称 EIP 用来绑定运维用 ECS 支付方式 按量付费 公网带宽 按流量付费 按量付费 文档版本：20220506（发布日期）52 云上高并发系统改造 附录2 资源清单 带宽 5Mbps ALB ALB名 Alb 支付方式 按量付费 Ip模式 ...
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多，如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系，使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源，更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
创建资源夹 资源夹最多支持 5级（根资源夹除外），请根据组织实际情况，按照团队、项目以及应 用等多个不同维度组织管理资源。文档版本：2021-07-12 6 资源管理 资源目录 步骤1 单击根资源夹，然后单击新建资源夹。步骤2 在新建资源夹侧边页，设置资源夹名称为 Application，并单击确定。步骤3 重复步骤 2，完成剩余资源夹...
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
应用范围 通用传统行业 名词解释 专有网络VPC：VirtualPrivateCloud，简称VPC，是基于阿里云创建的自定义 私有网络，不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络内 创建和管理云产品实例，比如ECS、负载均衡、RDS等。在部署云资源前，您 需要结合具体业务，规划VPC和交换机的数量及网段等。更多信息，...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
新 3.33 文档版本：20200331 I数据湖-在线学习场景数据分析 前言 前言 概述 本实践以WebServer为例来模拟在线教育的应用场景，通过Nginx和Pythonflask 搭建WebServer，模拟应用中的关键页面，比如登录、课程内容等，之后构造若干用 户使用的模拟日志数据，投递到数据湖进行分析后获取应用PV、UV、课程内容访问 排行等。...
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。 同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多VPC下的数据迁移和 同步，本方案提供详细的操作步骤，帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通，特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网（CEN）、云服务器（ECS）、数据库（RDS）、 数据库（Redis）、数据传输（DTS）、负载均衡（SLB） 块存储、专有网络（VPC）
配置项 说明 计费方式 按量付费 地域 华南 1（杭州）类型 MySQL 5.6 系列 高可用版 存储类型 本地 SSD盘（推荐）可用区 多可用区（可用区 D+可用区 E）实例规格 2 CPU(核)，4GB(通用型)rds.mysql.s2.large（2核 4GB）存储空间 50GB 配置完成，单击下一步：网络和资源组。文档版本：20191217 23 互联网业务全球化互通组网...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
内网访问外网 EIP(1M，按带宽计费)业务系统 操作系统 CentOS 7.6 64位-软件程序 WordPress 硬件配置：存储 40G 高效云盘（系统盘）安全组 sg-bptest 初始 root用户密码*网络 BP-VPC(MyBase-VSW)可用区/数量/实例 建议实例名和主机名一致，便于管 H/1/bp-test-1，2 名(主机名)理 自定义镜像 bptest-image-可用区 杭州，可用...
全站加速DCDN
阿里云全站加速旨在提升动静态资源混合站点的访问体验，支持静态资源边缘缓存，动态内容最优路由回源传输，同时满足整体站点的全网访问速度及稳定性需求。全站加速构建于阿里云CDN平台之上，适用于动静混合型、纯动态型站点或应用的内容分发加速服务。
政企客户专属资源域，保证客户业务稳定，不受其他客户影响.满足企业业务监管合规的诉求.支持全链路IPv6服务，支持解决IPv6天窗问题，可在企业IPv6改造的任意阶段接入阿里云DCDN IPv6方案.阿里云已具备国内外97项合规资质、全站加速资质47项、含等保三级、金融云等保四级、可信云、ISO27001系列和PCI DSS安全认证等.支持百万...
来自：
云产品
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
文档版本：20210425 VI 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 前置条件 前置条件 为了顺利完成本实践，您需要提前完成以下准备工作：注册阿里云账号，并完成实名认证。您可以登录阿里云控制台，并前往实名认证页 面（account.console.aliyun.com/v2/#/authc/home）查看是否已经完成实名认证。阿里云账户...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
ls 24 企业上云实践 基于弹性计算的 AI推理|部署 Mobilenet推理demo 步骤2 用证书和私钥创建一个名为 notebook-secret的 Kubernetes Secret。kubectl create secret tls notebook-secret-key tls.key-cert tls.crt 步骤3 运行以下命令，部署 Notebook（Ingress访问）。wget ...
RAM角色集成企业OpenLDAP身份认证
场景描述 本文介绍阿里云RAM使用KeyCloak集成企业OpenLDAP， 管理员工的身份及权限。配置RAM角色与KeyCloak 用户 /用户组的映射关系，实现企业员工使用企业OpenLDAP账 号以单点登录（SSO）的方式访问阿里云控制台。 解决问题 快速部署OpenLDAP及用户创建。 快速部署KeyCloak，并与OpenLDAP实现用户联 合。 阿里云角色SSO配置。 KeyCloak用户绑定RAM角色SSO。 KeyCloak用户组绑定RAM角色SSO。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 容器镜像服务ACR
获取 test.com域 IDP元数据信息文件 操作步骤 在 test.com域通用页签下打开该域 IDP元数据信息文件。文档版本：20210616 34 RAM角色以 KeyCloak集成企业 OpenLDAP身份认证 配置 KeyCloak 将该元数据信息文件保存到本地，并命名为“keycloak-idp-descriptor.xml”以备后用。注意：由元数据信息文件内容可知，IDP的访问地址...
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现，支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算，按照规定好的步骤依次完成 计算，这符合工作流的特点：多层次，有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
方案架构 基因计算所用数据存放到共享存储 NAS上，所有节点计算时访问 NAS上的数据，结 果也存储到 NAS上。通过 Ingress服务提供 Argo UI供查看工作流使用。方案优势 使用容器部署应用，敏捷，弹性，可移植。容器服务 ACK已打通阿里云生态 20+产品，提供了极致弹性，海量镜像分发。共享存储 NAS/CPFS提供不同性能的共享存储...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
微服务应用问题定位及故障演练 最佳实践 业务架构图 场景描述 用户微服务架构应用基于阿里云 ACK部署，通 过 ARMS监控发现微服务应用的容错能力是否 健壮，容器编排配置是否合理，以及节点故障引 发的问题等，方案通过 AHAS故障注入模拟生 产环境产生的故障，通过 ARMS及时发现问题、定位问题，并结合 ARMS的告警功能快速...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
付费类型 按量付费 实例规格 高主频通用型 hfg6（ecs.hfg6.xlarge）数量 3个 系统盘 高效云盘 120 GiB 挂载数据盘 不设置 操作系统 本文以 Alibaba Cloud Linux 2.1903为例进行介绍。登录方式 设置密码 登录密码 设置节点的登录密码。密码要求：8~30 个字符，且同时包含三项（大、小写字母，数字和特殊符号）高级选项保持...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
文档版本：20210721 2 自建Hive数据仓库跨版本迁移到阿里云 EMR 前置条件 前置条件 在进行本文操作之前，您需要完成以下准备工作：注册阿里云账号，并完成实名认证。您可以登录阿里云控制台，并前往实名认证页 面（https://account.console.aliyun.com/v2/#/authc/home）查看是否已经完成实名 认证。阿里云账户余额大于 100...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
配置项 说明 类型 AnalyticDB for MySQL 名称 adb 域名 在 3.3中部署 AnalyticDB的外网地址 注：目前不支持 VPC地址。用户名 db_user 密码 您的密码（本实例为 Test1234!端口 3306 数据库 info_analytic_db 文档版本：20220223（发布日期）77 基于 Flink的资讯场景实时数仓 业务系统 5.1.2.2.修改组件和数据 步骤1 登录 ...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
40G EIP配置：配置项 说明 EIP名称 eip-bp106 商品类型 按量付费 线路类型 BGP（多线）网络类型 公网 流量 按流量计费 带宽峰值 10Mbps RDS配置：配置项 说明 实例名 rds-bp106 支付方式 按量付费 类型 MySQL 版本 5.7 系列 基础版 存储类型 SSD云盘 部署方案 单可用区部署 实例规格 mysql.n2.large.1(4C 8GB（通用型）)...
- 产品推荐
- 这些文档可能帮助您