SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
您可以登录阿里云控制台，并前往实名认 证页面（https://account.console.aliyun.com/v2/#/authc/home）查看是否完成 实名认证。 购买按量付费资源，阿里云账户余额需要大于100元。考虑到部署后每小时会 产生费用，建议账号内余额或者代金卷金额大于200元。您可以登录阿里云控 制台，前往账户总览页面...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
基于函数计算FC实现物联网音视频处理最佳实践 场景描述 业务架构 基于阿里云函数计算FC和云工作流（CloudFlow）实现对物联网智能设备采集的音视频做切片、转解码 等视频处理，回传OSS，然后在客户端拉流观看的 自动化流程。应用场景 在物联网场景中，智能设备会产生大量的非结构化数 据，并且采集量和频率都很高。...
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
步骤6 点击复制公网访问的集群凭证，并粘贴至$HOME/.kube路径下的config文件中 查找$HOME目录在哪的命令：echo$HOME 如果$HOME目录下没有.kube路径和config文件需要手动创建 创建路径：mkdir.kube 创建文件：vim.kub/config 然后输入复制的配置信息并保存：步骤7 验证集群连通性 kubectlgetnamespace 文档版本：20240418 21...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步最佳实践 场景描述 业务架构 基于阿里云函数计算FC实现同帐号阿里云Kafka实 例之间消息、元数据同步，跨帐号阿里云Kafka实例 之间消息、元数据同步，阿里云Kafka实例和IDC 自建Kafka（其他云Kafka）之间消息、元数据同步。应用场景 在大数据场景，企业的Kafka实例...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
在非阿里云k8s集群配置onectl工具 步骤1 双击CADT画布中上海region名为ecs_k8s_cluster的ecs实例，点击“远程登录”步骤2 备份kubeconfig文件，执行命令以下命令 cp~/.kube/config~/.kube/config.bak vim~/.kube/config 删除所有内容 步骤3 将4.1拷贝的公网访问集群凭证粘贴到/.kube/config 执行onectlconfigure，将4.1保存...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
设置访问凭证.21 3.构建示例代码镜像.22 3.1.示例代码说明.22 3.2.通过Git代码库获取示例代码.22 3.3.获取MSENacos连接地址.24 3.4.修改示例代码.24 3.5.构建镜像.27 3.6.上传镜像到ACR.29 4.配置SAE应用.30 4.1.重新部署SAE-Consumer应用.30 4.2.给SAE-Consumer应用配置SLB.32 4.3.重新部署SAE-Provider应用.33 5.配置ACK....
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
kubectlgetnode 文档版本：20240229基于SpringCloud玩转MSE 方式2:本地kubectl 连接Kubernetes集群（本步骤略） 本地安装和设置kubectl客户端 配置集群凭证到到计算机$HOME/.kube/config文件下 文档版本：20240229基于SpringCloud玩转MSE 5.验证服务注册与网关路由 说明：两个应用mseconsumer、mseprovider将通过镜像...
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
临时登录密码是通过 RAM role 赋予的权限，来通过 ECS获取 STS token，进而获取到 ACR临时 登录凭证。cd/mnt/bio-projects/./env.sh cd tools/./get-acr-token 用上述用户密码登录 ACR docker login$ACR_VPC_ENDPOINT 上传镜像到仓库 docker tag 50a4f892cd94$ACR_VPC_ENDPOINT/$ACR_NAMESPACE/$ACR_REPOSITORY:v1.0 docker...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
所以，解决问题的 前提是要搞清楚我们今天面临的业务量有多大，增长走势是什么样的，而且解决高 并发的过程，一定是一个循序渐进逐步的过程。本着以上原则整个系统的进化可以参考下图（图片来自云栖社区）：整个系统进化分为三个阶段：x轴，水平扩展阶段，通过负载均衡服务器不断地横向扩充应用服务器，水平 扩展最重要的...
光伏逆变器出海和运维提效
阿里云物联网平台的光伏智能运维算法，通过采集光伏逆变器的数据，识别光伏阵列中的故障、发现可能的发电低效站点并及时预警，提醒电站运维人员及时排查解决问题，降低运维成本。提供全球运营商的物联网卡流量资源，全球8大服务地域的物联网平台，实现光伏逆变器出海和运维提效。
物联网卡管理通过物联网无线连接服务的控制台可以进行新购凭证、卡/池管理、智能诊断、自动化预警、查询订单、定向配置、平台短信上下行管理和消息推送等操作，实现一站式的物联网卡管理。方案部署01部署准备完成账号申请和充值，开通并购买需要的相关产品。02规划网络和资源规划技术解决方案部署需要的网络和资源。03光伏...
来自：
解决方案
阿里云最佳实践容器workshop
通过本篇最佳实践，可以熟悉容器及k8s的基本操作。基于eci的高弹性架构，能有效的应对业务流量洪峰，同时提升资源使用效率。
mkdir$HOME/.kube/vi$HOME/.kube/config 控制台进入集群信息>连接信息，复制以下内网访问的凭证信息到文件$HOME/.kube/config 保存。步骤6 执行 kubectl命令验证可以正常访问集群。kubectl get nodes 文档版本：20220301（发布日期）29 阿里云ACK容器服务workshop 阿里云 ACK实践 3.2.无状态应用 集群创建成功之后，通过...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
从敏感数据发现入手，找到敏感的数据，然后根据场景来确 定使用什么方式进行加密，以及具体的加密操作步骤等。应用范围 本最佳实践适用于客户的研发人员和数据安全运营人员使用，也适合于云架构师做方案讲解后给客户 PoC验证使用。名词解释 VPC：Virtual Private Cloud，简称 VPC。基于阿里云创建的自定义私有网络,不 同的...
基于ECI、RI和EIP降成本方案
场景描述 随着企业逐步将自己的业务搬移到使云上， 越来越多的企业也开始重视云上的使用成 本。 针对客户的使用场景，特别是无状态服务、 易于容器化的场景，基于ECI+RI+EIP的组 合方式能有效降客户成本。预留实例券RI， 可以灵活的抵扣相关资源费用；弹性容器实 例ECI，在资源使用率、启动速度、灵活性、 成本上的具有一定的优势。 本文以部署一个无状态的网站为例，使用 ECI+RI+EIP的组合方式，通过RI抵扣计 算资源费用，按量支付流量费用，旨在能够 帮助客户快速验证云上服务，有效控制云上 资源成本。 方案优势 1.使用RI，可以灵活的抵扣相关资源费 用。 2.使用ECI支作为应用运行环境，更加 灵活、低成本，提高资源使用率。 3.ECI+RI+EIP的组合方式，资源使用率 高，通过RI抵扣计算资源费用，按量 支付流量费用，能有效降低整体成本 费用。 产品列表 专有网络VPC 预留实例券RI 弹性容器实例ECI 弹性公网IP
容器技术简介与镜像制作 3.1.docker容器简介 容器技术并不是什么新事物了，最早可追溯到 1979年 UNIX系统中的 chroot，最初 是为了方便切换 root目录，为每个进程提供了文件系统资源的隔离，这也是 OS虚拟 化思想的起源。2001年，LXC（Linux Container）诞生，容器技术进入到了 Linux领 域，直到 2013年 Docker诞生，才将...
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
说明：为什么创建 3个 eip?文档版本：20220121 22 游戏业务分区合服最佳实践 初始环境搭建 因为 3个做不同用途 1.外网流入入口，1个，给 SLB。2.VPC内网 ECS访问外网，1个，给 NAT网关 SNAT使用。3.VPC内网 ECS被外网管理访问，1个，给 NAT网关 DNAT使用。将 BEI_EIP_SLB绑定 SLB实例 步骤1 单击此实例操作列下的绑定。步骤...
海量共享设备安全高效运维
针对设备规模大、地理分布广泛、业务实时性要求高的共享设备，提供安全高效的设备管理运维。本方案基于阿里云物联网平台，搭配物联网卡的上网能力，由IoT安全运营中心为设备提供全方位的安全防护，保障共享设备的高可用接入和安全高效运维。
物联网卡管理通过物联网无线连接服务的控制台可以进行新购凭证、卡/池管理、智能诊断、自动化预警、查询订单、定向配置、平台短信上下行管理和消息推送等操作，实现一站式的物联网卡管理。设备安全管理通过对终端行为的持续分析、威胁模型检测等多种方式识别物联网系统中潜在的安全风险，帮助管理员自动处置、响应和修复...
来自：
解决方案
云速搭部署 ALB 实现负载分发
本实践通过云速搭构建一个基于 http(s)的负载均衡业务架构，实现终端浏览器发起http(s)请求后，经过 ALB 监听配置的转发规则，分别负载分担到后端 ECS 服务器、CLB 和 ACK 集群。
云速搭部署 ALB实现负载分发 文档版本信息 云速搭 部署 ALB实现负载分发 最佳实践 文档版本：20211028 云速搭部署 ALB实现负载分发 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署 ALB实现负载分发 文档编号 247 文档版本 V1.0 版本日期 2021-10-28 文档状态 对外发布 制作人 洁谦 审阅人 文档变更记录...
- 产品推荐
- 这些文档可能帮助您