SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
应用场景 客户在阿里云不同region、阿里云以外的其他 云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）、或者IDC 等业务数据或应 用系统产品的日志数据等，汇总处理后，通过 标准的通用的协议Kafka，数据入湖到阿里云 SLS日志中心，进行统一分析和处理。解决问题 将多云、IDC分散的数据，通过标准协议，汇 产品...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
kubectlgetnode 文档版本：20240229基于SpringCloud玩转MSE 方式2:本地kubectl 连接Kubernetes集群（本步骤略） 本地安装和设置kubectl客户端 配置集群凭证到到计算机$HOME/.kube/config文件下 文档版本：20240229基于SpringCloud玩转MSE 5.验证服务注册与网关路由 说明：两个应用mseconsumer、mseprovider将通过镜像...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
订正迁移后的 Hive元数据 由于 Hive 1.x系列版本迁移到 EMR集群的 Hive 2.x/3.x系列版本，需要将 EMR 集群 Hive源数据库的表结构进行更新，同时修改数据中带有的 Location信息。名词解释 Hive Apache Hive是基于 Hadoop的一个数据仓库工具，可以将结构化的数据文件映 射为一张数据库表，并提供简单的 SQL 查询功能，可以将 ...
行业文档识别
阿里云提供行业文档类识别，可以高精度识别各行业文档和表单表格，通用于各行业的通用文字识别。包含单字坐标，表格识别，图像旋转等功能，广泛应用于司法、金融、医疗等各行业，方便工作人员审核录入核对，节约人力时间成本。
分别有网络 UGC 图片文字识别、电商图片文字识别、社区贴吧图片文字识别、通用文字识别.通用类文字识别.图片56*56(不可与icon共存）.图片logo.icon名称(不可与图片logo共存）.icon名称.不填写不展示.更多产品体验.请加钉钉群 35208328 咨询.图片56*56(不可与icon共存）.图片logo.icon名称(不可与图片logo共存）.icon名称.不...
来自：
云产品
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
名词解释 HDFS Hadoop 分布式文件系统（HDFS）被设计成适合运行在通用硬件上的分布式文 件系统，它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式 文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉 价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应 用。VPN...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
基于 DDH+MyBase降本合规 最佳实践 部署架构图 场景描述 出版、金融、保险等传统行业一方面希望能借助 云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU超 分超配）以及满足更严格合规和监管要求的考 虑，希望能对云上资源有更多的自主控制权（监 管合规）。从业务系统架构云上部署的...
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
邮件通知配置 邮件是 Jenkins在消息通知、审批环节中比较通用的一种方式，本方案中也是选择邮 件作为审批方式。步骤1 配置邮箱基本信息。进入 Jenkins系统配置，配置系统管理员邮件地址。步骤2 配置 Extended E-mail信息。找到 Extended E-mail填写栏，邮箱与步骤一中填写的邮箱为同一个。文档版本：20220121 41 基于 K8S多...
利用低成本链路完成业务数据迁移上云
场景描述 随着云计算被越来越多的客户所接受，除业务系 统上云外，很多客户已经把业务数据搬迁上云。 业务数据量一般都比较大，迁移上云需要大量的 网络带宽，BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限（移 动/联通/电信均可），可用为迁移数据有效降低 成本。 解决问题 1.业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包
说明：用户也可以提前将IDC的服务器系统盘镜像上传到阿里云，用已有镜像创建 ECS。配置完成，单击下一步：网络和安全组。5 文档版本：20191230 利用低成本链路完成业务数据迁移上云 配置云上环境 步骤4 在网络和安全组页面，选择VPC与可用区交换机，不需要公网IP。配置完成，单击下一步：系统配置。步骤5 在系统配置页面，...
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
配置安全组 在该实例所在安全组中确认 22、80、443和 3306端口的放通情况，如果有未放开 端口，请按照下面步骤进行放通。步骤1 单击实例（flexgw-vpn）操作列下的管理。步骤2 在左侧导航栏单击本实例安全组。文档版本：20210802 10 自建 ElasticSearch快照备份 OSS 基础环境搭建 步骤3 单击对应安全组操作列下的配置规则。...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
专有网络 类别 配置项 说明 专有网络 名称 VPC_Datasec IPv4网段 推荐网段 192.168.0.0/16 交换机 名称 vswitch-az-h 可用区 杭州 可用区 H IPv4网段 192.168.0.0/24 ECS 类别 配置项 说明 基础配置 计费方式 按量付费 地域 华东 1（杭州）可用区 H 实例 架构：x86计算 分类：通用型 规格：通用型 g5 ecs.g5.large(2 vCPU,8...
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多，如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系，使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源，更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
有问题请扫钉钉二维码联系我们。文档版本：2021-07-12 3 资源管理 企业级统一账号架构 1.企业级统一账号架构 构建多账号的资源管理体系，首先需要有统一的账号架构。阿里云账号有多层含义，首先，每个云账号都是完全隔离的租户，默认在资源访问、网络部署和身份权限都是 完全独立和隔离的，这样就可以将有强隔离诉求的业务...
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具，并采用阿里云CPFS存储，运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC， 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
类别 配置项 说明 系统配置 登录凭证 密钥对 密钥对 单击新建密钥对。2.在创建密钥对页面，参考下表，配置相关参数，并单击确定。配置项 说明 密钥对名称 设置符合要求的密钥对名称。本实践设置为 key-ai。创建类型 自动新建密钥对。22 混合云使用飞天AI加速工具 创建 ECS实例 配置完成，单击下一步：分组设置。步骤7 在...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
（可选）配置安全组 在实例所在安全组中确认 22、80和 443端口的放通情况，如果有未放通端口，请按 照下面步骤进行放通。步骤1 在 ECS控制台，单击 FlexGW VPN网关实例操作列下的管理。步骤2 在左侧导航栏单击本实例安全组。步骤3 单击对应安全组操作列下的配置规则。文档版本：20210714 12 自建Hadoop数据迁移到阿里云 EMR...
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构，本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群，集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩，资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
2.考虑到有临时打开、修改渲染文件的需求，选择 ECS GPU实例部署 Deadline渲 染管理。3.查询华北 2（北京）地域，可用区 A，有 ECS GPU实例售卖。文档版本：20200220 III 云端影视渲染 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.IV 1.配置 RAM用户.1 2.通过 VPN建立网络互联.6 2.1.创建专有网络 VPC.6 2.2.创建 ...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
部署方案 多可用区部署 备节点可用区 自动分配 实例类型 8核 32GB（通用型）默认维持和原业务系统一致。具体最大连接数、IOPS信息可以参考 RDS实例规格族信息：https://help.aliyun.com/document_detail/263 12.html?spm=a2c4g.11186623.6.557.6a7a1da 5pgZNne 若实际使用过程中发现数据库资源冗余或紧张，可 以随时进行...
- 产品推荐
- 这些文档可能帮助您