基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
网络连接：选择公网 认证方式：选择密码认证 密码：输入在CADT中设置的密码，该最佳实践中ECS的登录密码为Pass4ecs。步骤2 登录成功后，输入如下命令查看自建Kafka的Topic信息。文档版本：20240330 56基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 场景验证/root/kafka/kafka_2.12-2.6.0/bin/kafka-...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 存储引擎：WiredTriger l 存储类型：ESSD PL1 云盘（除此以外，还提供 PL2，PL3，AutoPL 的类型）l 加密类型：不加密 l 规格类别：独享规格 l 规格：4 核 8GB（独享型）（可以根据实际情况自行选择更高的版本）l 存储空间：40GB（最小 20GB）l 密码随实例创建：勾选 l 设置密码/确认设置密码：自行设置 MongoDB 登录密码...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
首次使用ACK无法选择ECS节点，先问ack控制台并进行授权 2.ACK的ECS需要单独调整登录密码 3.SLS需要调整Project名称 文档版本：20240229基于SpringCloud应用玩转MSE 其他产品，双击产品图标，核对详情参数即可。步骤5 再次点击保存，进入下一步的资源验证环节。如果校验失败，根据备注提示修改即可。如产品首次使用，根据...
通过云速搭创建具有IPv6地址的ECS
随着国家推进 IPv6 规模部署行动计划的贯彻落实，以及工业互联网、物联网、5G 等前沿技术的快速发展，各行业用户 IPv6 改造诉求愈发强烈。 阿里云 IPv6 在互联网、金融、政企、传媒等各行业，提供了丰富的产品选择和可靠安全的服务体验。本文针对希望部署具有IPv6地址的ECS场景，提供一键部署模版，进行部署和效果验证。 应用场景 l 针对具备IPv6地址的ECS提供可视化架构 l 支持方案的批量部署和效果验证
IPv6地址 文档版本：20240821 9 通过云速搭创建具有 IPv6地址的ECS实践 步骤3 核对IPv6网关的参数，购买方式为新购，自定义网关名称 步骤4 核对ECS产品相关参数，点击ECS图标 文档版本：20240821 10 通过云速搭创建具有 IPv6地址的ECS实践 核对支付方式、实例规格、镜像、系统盘类型和大小、实例名称、密码等 密码初始化为...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
1.10.MySQL操作 步骤1 SSH登录到 MySQL后台，启动 MySQL：systemctl start mysqld 步骤2 查看初始密码 grep 'temporary password'/var/log/mysqld.log 步骤3 修改密码 mysql-uroot-p 输入初始密码后，进入 mysql命令行，修改密码为 Test@1234 文档版本：20210723 15 自建Hadoop迁移MaxCompute 自建 Hadoop集群环境搭建 set ...
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
步骤4 在更改密码界面，对superuser的初始密码进行修改，输入新的密码并确认密码，单 击应用并继续。文档版本：20191223 20 混合云存储构建VMware虚拟化平台 存储阵列系统初始化配置 说明：密码长度为6-63个字符，不能以空格开头或者结尾。步骤5 在系统名称界面，输入自定义的系统名称，单击应用并继续。文档版本：20191223...
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业，从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节， 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）、迁云工具（SMC）、数据库 （RDS）、数据库（Redis）、数据传输（DTS）、 负载均衡（SLB）、专有络（VPC）等
访问服务器迁移中心 步骤1 通过 ECS 控 制 台 或 者直接 访 问 链 接打开 SMC 控制台：https://smc.console.aliyun.com/welcome 步骤2 完成首次登录的访问授权。步骤3 记录迁移客户端地址。https://p2v-tools.oss-cn- hangzhou.aliyuncs.com/smc/Alibaba_Cloud_Migration_Tool.zip 步骤4 记录阿里云账号或子账号的访问密钥...
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据，AK是软件程序访问阿里云资源的凭据。 如果AK被泄露，那么会造成非常严重的后果， 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿，等等。采用合适的方式来使用、 保护AK，是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
5.编写基于 IP的权限策略，从而限制 AK只能从企业内网发起访问，避免泄露 风险；6.如果业务部署在 ECS上，尽量使用 ECS服务扮演 role的方式，避免使用 AK。事中 文档版本：20220211 2 方案概述 AK防泄漏 1.公司代码尽量不上传到外部的代码库，可以有效收窄泄露面；2.定期轮转 AK，降低泄露风险；3.开通云安全中心的 RAM安全...
云速搭CADT部署VMware服务
本方案适用客户云下使用VMware环境，在云上希望继续使用VMware环境，包括业务维护和扩容等，不希望改变云上使用环境。
数据中心扩容：业务扩容遇到机器过保、机 房空间限限制等情况，不希望一次性高昂的 产品列表 基础资源投入。专用网络 VPC 上云迁移场景：客户不想继续维护本地 云服务器 ECS VMware数据中心，实现整体 VMware数据 云速搭 CADT 中心迁移上云。弹性公网 IP VMware服务 ACVS 云企业网 CEN 最佳实践频道 阿里云最佳实践技术分享...
基于MyBase构建自主可控数据库和高弹性应用实践
一些企业级客户上云前，会重点关心数据库是否自主可控，包括云资源独享、自主可运维、获取OS 权限等特点，同时又要兼顾数据库合规性、安全性和高性能的要求；并力求在业务弹性下合理利用云产品降低数据和应用成本，弹性地支持业务。本实践为此类用户提供相关实践参考。
文档版本：20210323 15 基于 MyBase构建自主可控数据库和高弹性实践 初始化环境构建 目前控制台暂时不支持设置只能从内网访问，可以通过 SQL命令限制登录的源地址，如允许用户通过某 IP地址访问数据库。如果需要更细粒度的账号管理，比如只能访问某个表，可以通过 SQL命令设置，限制 账号只能访问指定表、视图、字段等。...
DDH集群运维管理
场景描述 当前许多企业的IDC业务场景，资源管理 等使用习惯与公共云不同，使用DDH集群 管理，继承IDC虚拟化使用习惯，比如自 定义ECS规格。同时针对CPU负载较低 的场景，通过CPU超分，可以有效提高资 源利用率，节省整体成本。并且可以通过账 号授权业务团队，结合云监控资源使用率， 方便业务使用的同时又能有效遏制资源浪 费。 方案优势 1.使用专有宿主机集群构建云上环境，通 过超分提高资源利用率，降低企业成 本。 2.通过访问控制授权，云监控资源，完成 专有宿主机集群运维管理使用闭环。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 云监控CloudMonitor
每条授权语句包括授权效力（Effect）、操作（Action）、资源（Resource）以及限制条件（Condition，可选项）。文档版本：20200616 8 DDH集群运维管理最佳实践 最佳实践 此案例示例如下。其中需要注意的是，"ecs:tag/cluster":"dh-8vbitp0flin4v2jwrjcg"代表DDH-A的系统标签，"vpc:tag/team":"A"和"ecs:tag/team":"A"代表...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
SLB提供了访问控制（白名单）能力，可以设置只允许 WAF地址访 问。SLB没有设置白名单之前，可以被任何连接公网的机器访问；按照本节操作，成功配 置白名单后，就只能被 WAF的 IP地址访问。创建访问控制策略组 步骤1 登录 Web应用防火墙管理控制台。（https://yundunnext.console.aliyun.com/?p=waf）步骤2 在左侧导航栏选择...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。
参数值为：ￚ 非 HA集群：配置为 hdfs:/emr-header-1:9000/hbase ￚ HA集群：配置为 hdfs:/emr-cluster/hbase 步骤3 本模板按照北京地域的非 HA集群配置，只需要替换${oss_bucket}：在右侧 EMR详情配置栏里找到软件配置项，替换第一个配置项里的${oss_bucket}为 创建的 bucket名称，并设置集群密码。文档版本：20220915 10 ...
Golden Image构建和分发
1、企业在单独的SharedServices账号内进行镜像构建，统一管控，权限能够跟应用账号隔离。 2、通过管控策略，限制应用账号能够使用的镜像ID，避免应用账号使用不合规的镜像。 3、基于资源目录和自动化能力，能够批量、快速将镜像分发给所有应用账号，提升效率，规避手工误操作。
步骤1 使用 成 员 账 号（共 享 服 务 账 号），登录 CADT 控 制 台。（https://bpstudio.console.aliyun.com/）步骤2 单击新建>官方模板库新建。步骤3 在搜索框中搜索“Golden-Image构建与分发”，找到目标模板，将鼠标移动到模板图 标上，单击基于方案新建。文档版本：20210901 9 Golden Image构建与分发 镜像构建 注意：...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
勾选自动更新请求：60秒/次（API网关的二级域名，每天有1000次访问限制）点击左侧的“数据映射”，选择图标配置的数值“total_quantity”可以看到2024累计销售量离线数据已经正常查看了：步骤5 单击右上角发布按钮。发布大屏后，复制分享链接。步骤6 在浏览器中粘贴复制的分享链接，打开大屏页面，可投影到大屏展示。3.5....
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段，但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜，都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验，为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
SLB提供了访问控制（白名单）能力，可以设置只允许 WAF地址访 问。SLB没有设置白名单之前，可以被任何连接公网的机器访问；按照本节操作，成功配 置白名单后，就只能被 WAF的 IP地址访问。创建访问控制策略组 步骤1 登录 Web应用防火墙管理控制台。（https://yundunnext.console.aliyun.com/?p=waf）步骤2 在左侧导航栏选择...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
这里需要注意的是，当我们在代码里增加了初始化方法后，需要在函数配置中指定初 始化方法的入口：如下图所示，找到 fun01函数的修改配置：配置初始化函数的入口和时间，单击提交。文档版本：20210806（发布日期）44 Function Compute构建高弹性大数据采集系统 完善两个函数 初始化函数入口参数请填写：index.my_initializer...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
3.通过 scp命令将/etc/hosts文件远程拷贝到 slave1~slave3节点上：scp/etc/hosts root@slave1:/etc/hosts scp/etc/hosts root@slave2:/etc/hosts scp/etc/hosts root@slave3:/etc/hosts 步骤3 配置 SSH无密码访问。1.在 master节点执行下面 3个命令，生成密钥对。其中第 1个命令在 master节点本地执行；第 2、3个命令在 ...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
上云初期的“大锅饭”制度就逐步向“AA制”转化，企业内部就 出现了分账的诉求。大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账 号来管理规模庞大的云上资源。多账号的环境，又进一步加大了分账的难度。本最佳实践通过以下模拟场景案例，来介绍如何合理使用阿里云现有产品的能力，在 多账号...
- 产品推荐
- 这些文档可能帮助您