SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
您可以登录阿里云控制台，并前往实名认 证页面（https://account.console.aliyun.com/v2/#/authc/home）查看是否完成 实名认证。 购买按量付费资源，阿里云账户余额需要大于100元。考虑到部署后每小时会 产生费用，建议账号内余额或者代金卷金额大于200元。您可以登录阿里云控 制台，前往账户总览页面...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
登录凭证：选择自定义密码 登录名：root 登录密码：根据实际需求填写，该最佳实践模板中的ECS登录密码为Pass4ecs 输入已采用Base64编码：勾选 实例自定义数据：这串Base64编码实现ECS实例第一次启动后自动部署、安装并 运行带有RTMP模块的Nginx。 安全组：架构图中的SG-MEDIA-HANDLE安全组。步骤22双击名...
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
该最佳实践需要从代码库克隆示例代码，所以请提前准备好Git环境 文档版本：20240418 1通过ES兼容接口方式使用Kibana访问SLS数据最佳实践 部署基础环境 1.基础环境搭建 本实践可通过CADT官方模板快速拉起演示环境。步骤1 登录云速搭CADT管理控制台（https://bpstudio.console.aliyun.com/），单击新建>官 方解决方案>模版...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
设置访问凭证.21 3.构建示例代码镜像.22 3.1.示例代码说明.22 3.2.通过Git代码库获取示例代码.22 3.3.获取MSENacos连接地址.24 3.4.修改示例代码.24 3.5.构建镜像.27 3.6.上传镜像到ACR.29 4.配置SAE应用.30 4.1.重新部署SAE-Consumer应用.30 4.2.给SAE-Consumer应用配置SLB.32 4.3.重新部署SAE-Provider应用.33 5.配置ACK....
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
登录凭证：选择自定义密码 登录名：root 登录密码：根据实际需求填写，该最佳实践模板中的ECS登录密码为Pass4ecs 输入已采用Base64编码：勾选 实例自定义数据：这串Base64编码实现ECS实例第一次启动后自动部署并运行开 源Kafka。 安全组：架构图中的SG-ECS安全组。步骤22单击右上角的保存按钮，填好自定义...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
在非阿里云k8s集群配置onectl工具 步骤1 双击CADT画布中上海region名为ecs_k8s_cluster的ecs实例，点击“远程登录”步骤2 备份kubeconfig文件，执行命令以下命令 cp~/.kube/config~/.kube/config.bak vim~/.kube/config 删除所有内容 步骤3 将4.1拷贝的公网访问集群凭证粘贴到/.kube/config 执行onectlconfigure，将4.1保存...
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
h)操作审计/SLS：GxP合规要求，为云上所有操作进行审计跟踪，数据留存在 SLS 日志库中。i)云防火墙：提供云环境的边界安全。2、通过云速搭 CADT模板部署，将自动化完成以下任务：模板将自动化完成上述产品实例的构建，以及云资源之间的关联关系绑定。同时本方案提供一个初始化脚本，完成以下运行环境的构建。docker 环境...
容器Swarm集群向ACK集群灰度迁移
场景描述 随着K8S生态的完善，越来越多的客户需要从 Swarm集群迁移向ACK集群 解决问题 1.迁移过程中维持业务的延续性 2.迁移过程业务高可用 3.迁移过程可灰度 4.迁移过程可回滚 5.迁移进度可把控 产品列表 专有网络VPC 云数据库RDSMySQL 容器服务ACK 云服务器ECS
文档版本：20190401 10 容器 Swarm集群向 ACK集群灰度迁移最佳实践 创建数据库 步骤4 设置镜像仓库访问凭证。文档版本：20190401 11 容器 Swarm集群向 ACK集群灰度迁移最佳实践 创建数据库 4.创建数据库 背景信息 购买一个 RDS实例，作为 Magento的数据库，并创建账号和 db数据库。操作步骤 步骤1 搜索“云数据库 RDS”，...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
pip install aliyun-python-sdk-core-v3 pip install oss2 pip install aliyun-python-sdk-kms 安装 AES相关的库 实验中会用到 AES相关的加密算法，包含在 pycryptodome库中：pip install pycryptodome 3.3.2.模拟客户端加密解密过程 下载 SampleCode中的 encrypt_locally_with_kms_to_oss.py代码文件，上传到 ECS 上。这个...
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。 同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多VPC下的数据迁移和 同步，本方案提供详细的操作步骤，帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通，特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网（CEN）、云服务器（ECS）、数据库（RDS）、 数据库（Redis）、数据传输（DTS）、负载均衡（SLB） 块存储、专有网络（VPC）
文档版本：20191217 116 互联网业务全球化互通组网最佳实践 全球化网络和数据的互通搭建 步骤6 配置源库及目标库信息。步骤7 选择迁移类型及列表。选择结构迁移、全量数据迁移和增量数据迁移。迁移对象选择刚模拟的数据库 sync_db，提交预检并启动。文档版本：20191217 117 互联网业务全球化互通组网最佳实践 全球化网络和...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
详 细 步 骤 请 参 考 使 用 文 档《资 源 验 证 及 部 署》:https://help.aliyun.com/document_detail/186135.html 文档版本：20220414 9 基于 DDH+MyBase降本合规最佳实践 通过 CADT部署资源 步骤7 部署完成后查看资源部署状态。可以点击资源名称的超链接，跳转对应资源的控制台。文档版本：20220414 10 基于 DDH+MyBase...
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
说明：本例为简化流程在同步库上直接操作，实际演练建议建立完整的应用和数据 库测试环境进行操作。4.3.5.3.停止华北游戏对外公网服务 在开始前，先要停止游戏服务。北方的 2台游戏服务器也要停止服务，确保全部游戏业务已经停服，避免新数据写 入。步骤1 登录 SLB控制台。...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
文档版本：20200106 24 Spring Cloud Netflix应用迁移 EDAS 搭建线下微服务应用环境 步骤8 创建 PiggyMetrics库。use piggymetrics 在 mongo命令行，执行如下 PiggyMetrics项目的子模块 MongoDB的 account-service-dump.js中的脚本。文档版本：20200106 25 Spring Cloud Netflix应用迁移 EDAS 搭建线下微服务应用环境 db....
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组（APG）搭建spark计算集 群，提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用spot实例 交付，最高可省90%成本。 2.稳定可靠：跨可用域、跨实例规格， 降低spot被集体释放的风险；自动托 管，分钟级巡检，动态保证集群的算 力。 3.快速交付：单次可在5分钟内交付 2000个实例。 4.多策略组合：可分别指定spot和按量 实例的交付策略，以及差额补足的策 略，包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一，无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张，无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
配置项 说明 登录凭证 密钥对 密钥对 选择已创建的密钥对 APG_SECRET。实例名称 自定义，例如 spark-master。主机名 自定义，例如 spark-master。文档版本：20200619 23 基于弹性供应组构建大数据集群分析 Spark集群搭建 步骤6 在确认订单页面，确认各项参数配置。确认无误，阅读、同意并勾选《云服务器 ECS 服务条款》，并...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
Tensorflow由Google开发，是GitHub上最受欢迎的机器学习库之一。 PyTorch是一个Python优先的深度学习框架，能够在强大的GPU 加速基础上 实现张量和动态神经网络，由Facebook开发。 CNN，ConvolutionalNeuralNetworks，卷积神经网络。IV企业上云实践 超级计算集群实现自然语言处理训练 目录 文档版本信息.I.法律声明 II....
KVM on弹性裸金属
场景描述 神龙是一款兼具虚拟机弹性和物理机性能及特性的 新型计算产品，为用户上云提供便捷。上一篇《阿里 云弹性裸金属最佳实践之VMwareon神龙》介绍了 基于阿里云神龙部署VMware，本篇指导用户基于神 龙自行创建KVM虚拟机。用户在将线下基于KVM 的业务灵活部署上云的同时，可充分管理和利用云上 计算资源。 解决问题 1.为传统企业提供在阿里云上自建KVM虚拟化平 台的解决方案。 2.基于KVM虚拟化平台的系统如何迁移上云。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP
cd/home/test wgethttp:/mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso 步骤2 更新python库。pipinstall-upgradepi-force-upgrade pipinstall-upgrade-force-reinstall'requests=2.7.0' 文档版本：20191213 44 KVMon弹性裸金属 IPvtap方式 步骤3 添加bridge0。brctladdbrbr0 步骤4 启动虚拟化工具...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
文档版本：20201228（发布日期）31 Function Compute 实现弹性音视频处理系统 应用测试 配置项 说明 登录凭证 自定义密码 登录名 root 登录密码 按要求设置登录密码。说明：记录下设置的登录密码，后续登录要用到。确认密码 再次输入设置的登录密码进行确认。实例名称 按要求设置实例名称。本实践设置为 server001。主机名 ...
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
金融行业从经典网络向VPC容器化改造 最佳实践 业务架构 场景描述 本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC ...
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
由于量化策略一般依赖特定的三方库，库的小版本差别都会引起运行结果参数发生巨 大变化，因此需要借助容器化技术来标准化交付物，让任务屏蔽掉具体运行环境的影 响。综上所述，本实践将基于模拟的场景，结合 EHPC（弹性高性能计算）和容器化实现 低成量化策略回测。文档版本：20220321 2 E-HPC低成本实现量化策略回测 实验...
- 产品推荐
- 这些文档可能帮助您