基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
这里以MacOS为示例，下载Linux脚本。会下载一个名为config.sh的脚本。MACOS打开终端，找到下载文件的目录后，执行 文档版本：20240502 66基于函数计算FC实现物联网音视频处理最佳实践 场景验证 shconfig.sh 完成本地hosts文件解析配置。命令行中执行命令清除本地DNS缓存。sudokillall-HUPmDNSResponder 执行成功后，就可以...
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
v3.14.3-linux-amd64.tar.gz 到本地，在scp上传到kubectl服务器上，其中公网ip根据实际地址替换 scp~/helm-v3.14.3-linux-amd64.tar.gzroot@47.103.135.74:~/步骤4 解压helm-v3.14.3-linux-amd64.tar.gz文件 tar-zxvfhelm-v3.14.3-linux-amd64.tar.gz 步骤5 将可执行文件移到系统PATH路径下以便在任何地方运行Helm并检查...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
应用部署方式：不同的开发语言有不同的部署方式，比如Java支持Jar包、War包、镜像，Python、PHP支持Zip包、镜像等。CADT目前只支持镜像部署，因为该方案同时也包含 K8s架构，所以使用镜像是比较统一的部署方式。（后续SAE应用的镜像需要用户自行变 更） Java环境：如果选择了Java语言，则这里需要选择Java的环境，既...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
详见：https://www.aliyun.com/product/kubernetes 云数据库 RDS MySQL版：MySQL 是全球最受欢迎的开源数据库之一，作为开 源软件组合 LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中的重要一 环，广泛应用于各类应用场景。文档版本：20220209 III 异地双活场景下的数据双向同步 前言 详见：...
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构，某可用区挂掉后，不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB，RDS，Redis等产品，实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB，RDS，REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
容器跨可用区高可用 最佳实践 部署架构图 场景描述 本实践适合使用容器服务 ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在 一开始创建容器服务 ACK的时候就把容器集群 建成多个可用区的架构，某可用区挂掉后，不影 响应用和集群的高可用。容器服务 ACK通常配 合高可用 SLB，RDS，Redis等产品，实现跨可...repo ...
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
参考命令：cp Python-3.5.0.tar.xz/opt&tar-xvJf/opt/Python-3.5.0.tar.xz \&apt-get install gcc-y&apt-get install make-y \&apt-get install vim-y&apt-get install openssl-y \&apt-get install libssl-dev-y&apt-get install python3-pip-y 步骤5 配置 python环境。opt/Python-3.5.0/configure-prefix=usr/local/...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
MySQL 是全球最受欢迎的开源数据库之一，作为开源软件组合 LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中的重要一环，广泛应用 于各类应用场景。详见：https://www.aliyun.com/product/rds/mysql DBS：数据库备份服务（Database Backup Service，简称 DBS）。为数据库提供 连续数据保护、低成本的备份服务。它可以为多种...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
参见：https://www.aliyun.com/product/bigdata/sc 云数据库 RDS MySQL 版：是全球最受欢迎的开源数据库之一，作为开源软件组 合 LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中的重要一环，广泛 应用于各类应用场景。参见：https://www.aliyun.com/product/rds/mysql 消息队列 Kafka 版:是阿里云基于 Apache Kafka 构建的...
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
文档版本：20220321 18 E-HPC低成本实现量化策略回测 操作步骤 步骤3 进入 ECS 控 制 台镜像 页 面，确 认 镜 像 创 建 完 成。（https://ecs.console.aliyun.com/image/region/cn-zhangjiakou/imageList）说明：创建镜像耗时受镜像大小影响，本例的自定义镜像耗时约 10分钟左右，请耐心 等待。文档版本：20220321 19 E-HPC...
VMware迁移DDH
场景描述 介绍本地部署或托管在IDC环境的VMware系统迁移 上云至独立宿主机（DDH）的最佳实践。使用DDH在 云端构建由独享物理服务器组成的资源池，同时配合 ECS成熟稳定的虚拟化技术体系，充分利用云上资源 弹性、按使用付费的优势，快速构建高性能、高可靠 和可快速动态伸缩的虚拟化系统，满足安全、合规、 自定义部署、自带许可证（BYOL）等企业级需求。 解决问题 l云端独享高性能、高可靠、高弹性的物理服务器资源池。 l基于成熟云原生虚拟化技术体系，支持ECS自定义部 署，可在DDH环境和多租户环境间迁移。 l支持自带许可证（BYOL）。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS l对象存储OSS l专有宿主机DDH l资源编排ROS
安装阿里云版本 cloud-init 安装 python-pip 1.yum makecache 2.yum-y install epel-release 文档版本：20200218 14 企业上云实践 VMware 迁移 DDH|自定义镜像导入 3.yum makecache 4.yum-y install python-pip 文档版本：20200218 15 企业上云实践 VMware 迁移 DDH|自定义镜像导入 下载并解压阿里云版本 cloud-init 1.wget...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
安装 Kafka模块 cd fc fun install-runtime python3-package-type pip kafka-python 安装 Mysql模块：文档版本：20210806（发布日期）29 Function Compute构建高弹性大数据采集系统 创建削峰填谷函数 fun install-runtime python3-package-type pip PyMySQL 如果是第一次执行以下命令，会有一段时间拉取镜像的步骤，执行...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
root/run_client.sh 内容如下：python client_package/image_client.py-m resnet50_tensorflow-b 1 `pwd`/client_package/images python client_package/image_client.py-d-m resnet50_pth-b 1 `pwd`/client_package/images python client_package/grpc_image_client.py-m resnet50_tensorflow-b 1 `pwd`/client_package/...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
类别 配置项 说明 基础配置 计费方式 按量付费 地域 华东2（上海）可用区G 实例 架构：超级计算集群 分类：GPU型 实例规格：企业级GPU计算型sccgn6 ecs.sccgn6.24xlarge(96vCPU,384GiB) 购买实例数量：2台 5企业上云实践 基于超级计算集群的自然语言处理AI训练 最小购买数量：2台 镜像 公共镜像 CentOS 7.564...
通过私网访问云服务
使用PrivateLink就可以通过私网访问其他VPC提供的服务，无需创建NAT网关或EIP等公网出口，更好的保障安全性和网络质量。支持同账号和跨账号的VPC间私网访问。另外 私网调用阿里云OpenAPI也有两种可选方案
pip install aliyun-python-sdk-core pip install aliyun-python-sdk-ecs 2.2.3.CLI安装 下载最新版本的 CLI工具 wget https://aliyuncli.alicdn.com/aliyun-cli-linux-latest-amd64.tgz解压文件，获取到 aliyun 可执行文件 tar xzvf aliyun-cli-linux-latest-amd64.tgz 将可执行文件 aliyun 拷贝到/usr/local/bin/目录下。...
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
类别 配置项 说明 基础配置 计费方式 按量付费 地域 华东 2（上海）可用区 F 实例 架构：异构计算 GPU/FPGA 分类：GPU计算型 规格：GPU计算型 gn6v ecs.gn6v-c8g1.2xlarge(8 vCPU,32 GiB)购买实例数量：1 台 镜像 选择镜像市场。1.单击从镜像市场获取更多选择（含操作系统）。2.在镜像市场对话框，输入 nvidia，单击搜索。3...
KVM on弹性裸金属
场景描述 神龙是一款兼具虚拟机弹性和物理机性能及特性的 新型计算产品，为用户上云提供便捷。上一篇《阿里 云弹性裸金属最佳实践之VMwareon神龙》介绍了 基于阿里云神龙部署VMware，本篇指导用户基于神 龙自行创建KVM虚拟机。用户在将线下基于KVM 的业务灵活部署上云的同时，可充分管理和利用云上 计算资源。 解决问题 1.为传统企业提供在阿里云上自建KVM虚拟化平 台的解决方案。 2.基于KVM虚拟化平台的系统如何迁移上云。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP
步骤3 进入欢迎使用CENTOS7页面，设置语言为中文>简体中文(中国），并单击继续。文档版本：20191213 47 KVMon弹性裸金属 IPvtap方式 步骤4 在安装信息摘要页面，单击系统下的安装位置。步骤5 在安装目标位置页面，保持默认设置，单击完成。文档版本：20191213 48 KVMon弹性裸金属 IPvtap方式 步骤6 返回安装信息摘要页面，...
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
类别 配置项 说明 基础配置 计费方式 按量付费 地域 华东 2（上海）可用区 F 实例 架构：异构计算 GPU/FPGA 分类：GPU计算型 GPU计算型 gn6v ecs.gn6v-c8g1.2xlarge(8 vCPU,32 GiB)购买实例数量：1 台 镜像 选择镜像市场。1.单击从镜像市场获取更多选择（含操作系统）。2.在镜像市场对话框，输入 nvidia，单击搜索。3.选择 ...
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具，并采用阿里云CPFS存储，运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC， 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
这里我们简化 cpfs的配置，不采用 pv/pvc的方式进行部署，直接挂载到 master节点和 worker节点上，容器在使用的 时候，直接像使用本地目录一样使用 cpfs目录上的文件。步骤1 注意：根据实际情况更换下面脚本中的挂载点信息。[root@master001~]#vim install-cpfs.sh#!bin/bash set-e CPFSMountPoint=cpfs-03a2f2ee-mgl5....
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据，AK是软件程序访问阿里云资源的凭据。 如果AK被泄露，那么会造成非常严重的后果， 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿，等等。采用合适的方式来使用、 保护AK，是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
文档版本：20220211 38 AK防泄漏 使用 ECS部署应用的动态身份 步骤2 执行 python文件，python ecs_sts.py 如下图代表执行成功：步骤3 在 oss指定 bucket下查看是否生成了我们创建的文件，如下截图所示表示成功创建：文档版本：20220211 39 AK防泄漏 服务端程序使用子账号及其AK 5.服务端程序使用子账号及其 AK 此种方式适合...
- 产品推荐
- 这些文档可能帮助您