SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
您可以登录阿里云控制台，并前往实名认 证页面（https://account.console.aliyun.com/v2/#/authc/home）查看是否完成 实名认证。 购买按量付费资源，阿里云账户余额需要大于100元。考虑到部署后每小时会 产生费用，建议账号内余额或者代金卷金额大于200元。您可以登录阿里云控 制台，前往账户总览页面...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
基于函数计算FC实现物联网音视频处理最佳实践 场景描述 业务架构 基于阿里云函数计算FC和云工作流（CloudFlow）实现对物联网智能设备采集的音视频做切片、转解码 等视频处理，回传OSS，然后在客户端拉流观看的 自动化流程。应用场景 在物联网场景中，智能设备会产生大量的非结构化数 据，并且采集量和频率都很高。...
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
步骤6 点击复制公网访问的集群凭证，并粘贴至$HOME/.kube路径下的config文件中 查找$HOME目录在哪的命令：echo$HOME 如果$HOME目录下没有.kube路径和config文件需要手动创建 创建路径：mkdir.kube 创建文件：vim.kub/config 然后输入复制的配置信息并保存：步骤7 验证集群连通性 kubectlgetnamespace 文档版本：20240418 21...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
并将步骤3拷贝的yaml，通过右击-拷贝写 入文件 步骤7 复查文件内容 文档版本：20240322 30容器多云统一监控日志 场景验证 步骤8 部署agent，执行命令:kubectlapply-ftunnel.yaml 步骤9 查看自建K8Spod运行状态，执行命令:kubectlgetpo-A 如果状态持续是pending，请执行去除污点命令 文档版本：20240322 31容器多云统一监控...
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
关于 Dockerfile 的具体语法与使用，请参考 docker 官方地址：https://docs.docker.com/engine/reference/builder/ 说明：脚本文件示例,仅供演示使用，真实量化分析脚本需要从 OSS读取数据，通过特定的 模型分析，将结果回写到 OSS。usr/bin/env python print('Hello World!just a demo for bp,please adjust to what you ...
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境，对业 务数据有云上备份需求。在客户交流过程中，基 于数据高可用和灾备需求，要求将数据备份至阿 里云OSS的存储空间，同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC，ECS，DBS，VPN网关，OSS
SourceEndpointInstanceI vpc-bp1XXXX1v 数据库实例 ID，本例中填 D 写 ecs-magento所关联到 的 VPC ID SourceEndpointIP 192.168.100.7 数据库连接地址，ecs-magento的私网 IP地 址。SourceEndpointPort 3306 数据库端口 SourceEndpointUserNam root 数据库实例用户名 e SourceEndpointPassword 123456 数据库实例密码 ...
FPGA加速图片和视频转码
场景描述 场景1：图片转码 移动互联网早已进入读图时代，目前的图片都是 JPEG格式，尺寸太大，导致传输占用更多的网络 带宽，花费更多的传输时间并占用更多的存储空 间。JPEG图片转码为WebP/HEIF需要消耗大量的 计算能力。使用阿里云FaaS加速图片转码解决 方案将使客户TCO降低约40%。 场景2：视频转码 到2022年，82%的IP流量都将来自于视频的录 制、上传和播放。HEVC/H.265无论从画质还是码 率，都比H.264有明显的优势，但是将视频将 H.264编码为H.265将消耗巨大的算力。使用阿 里云FaaS加速视频转码将显著降低视频大小， 节省网络流量，降低成本。 解决的问题 通过FPGA云服务器进行高效图片转 码 通过FPGA云服务器进行高效视频转 码 产品列表 VPC，ECS，FPGA，OSS
由于 FPGA硬件的可重配特性，用户可以对已创建的 FPGA硬件加速应用，进 行快速擦写和重配，达到低时延硬件与弹性伸缩最好的结合。FPGA计算型实例规格族 f3◆f3的特点如下：– I/O优化实例 – 仅支持 SSD云盘和高效云盘 – 采用 Xilinx 16nm Virtex UltraScale+器件 VU9P – 处理器与内存配比为 1:4 – 处理器：2.5 GHz主频...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
Function Compute 挂载 NAS，解决可写目录能容纳大视频的问题。FNF编排转码流程，比如同时并行转码成 3种目标格式的视频。Function Compute 的自动伸缩+视频切片分治可以加快转码速度。转码应用架构图：文档版本：20201228（发布日期）17 Function Compute 实现弹性音视频处理系统 部署 Function Compute 应用 文档版本：...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
开头的配置参数如果不在Hive配置中（或者可能已经被移除），或者⼤⼩写不对，文档版本：20210721 40 自建Hive数据仓库跨版本迁移到阿里云 EMR 注意事项 set语句会直接报错。（HIVE-7211 Throws exception if the name of conf var starts with"hive."does not exists in HiveConf,Hive 0.14）最后，向您推荐一篇非官方的...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
2.在迁移任务创建界面，配置阿里云目标地域及任务名称，并确认目标类型、许可证 类型及执行方式。本例中，目标类型设置为云服务器镜像；Linux系统选择自带 许可；任务类型为立即执行。注意：迁移过程中，SMC会在迁移目标地域创建实例名称为 No_Delete_SMC_Transition_Instance的 中转 ECS实例，请勿删除此实例，否则会导致...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
业务架构 场景描述 解决的问题 随着客户业务规模的扩大，对系统高可用性要求越 数据库双向同步 来越高，越来越多用户采用异地双活/多活架构，多 数据库全局 ID不冲突 活架构往往涉及业务侧做单元化改造，本方案仅模 双活架构的数据库建设问题 拟用户已做单元化改造后的数据双向同步，数据库 采用双主架构，本地写本地读，...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
需要在脚本更写入真实的手机号码、银行卡号、身份证号信息，比如把自己的卡号写 里。伪造的如果不符合格式要求，是检测不出来的。2.1.4.在 OSS中增加敏感文件 首先下载 sample code：https://code.aliyun.com/best-practice/092/repository/archive.zip?ref=master 把 sampleCode 里的 sensitivefil 目录的文件，上传到基础...
容器Swarm集群向ACK集群灰度迁移
场景描述 随着K8S生态的完善，越来越多的客户需要从 Swarm集群迁移向ACK集群 解决问题 1.迁移过程中维持业务的延续性 2.迁移过程业务高可用 3.迁移过程可灰度 4.迁移过程可回滚 5.迁移进度可把控 产品列表 专有网络VPC 云数据库RDSMySQL 容器服务ACK 云服务器ECS
文档版本：20190401 10 容器 Swarm集群向 ACK集群灰度迁移最佳实践 创建数据库 步骤4 设置镜像仓库访问凭证。文档版本：20190401 11 容器 Swarm集群向 ACK集群灰度迁移最佳实践 创建数据库 4.创建数据库 背景信息 购买一个 RDS实例，作为 Magento的数据库，并创建账号和 db数据库。操作步骤 步骤1 搜索“云数据库 RDS”，...
影视数据分发汇集与传输加速
场景描述 使用阿里云对象存储服务OSS及OSSBrowser 工具，实现影视数据多用户多地域分发、汇集， 以及传输加速的最佳实践。 解决问题 1.跨地域、多角色、分权限文件上传、下载。 2.基于OSS及其客户端实现Serverless文件 分发服务（可替换传统FTP服务）。 3.OSS文件传输全球加速。 产品列表 lOSS lRAM
步骤3 通过安全验证 文档版本：20220507 3 影视数据分发汇集与传输加速 创建权限管理子用户 步骤4 下载包含安全凭证的 CSV文件，并为创建的子用户添加迁移所需权限。文档版本：20220507 4 影视数据分发汇集与传输加速 创建权限管理子用户 步骤5 分别搜索 ossfull、ramfull，添加系统预置权限策略：AliyunOSSFullAccess 和 ...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
步骤4 这里仅为测试使用，对所有 VPC网段开放了 HDFS的可读可写权限。步骤5 添加挂载点。文档版本：20200409 8 Spark on ECI大数据分析 应用开发 注：HDFS挂载点所在 VPC需要与 K8S集群所在 VPC为同一个 VPC。步骤6 Java环境配置。1.在 Oracle官网上下载 JDK安装包再解压并放置在开发管理机的/usr/local/jdk1.8，然后配置...
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。 同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多VPC下的数据迁移和 同步，本方案提供详细的操作步骤，帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通，特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网（CEN）、云服务器（ECS）、数据库（RDS）、 数据库（Redis）、数据传输（DTS）、负载均衡（SLB） 块存储、专有网络（VPC）
版本类型 Redis 4.0 架构类型 标准版 说明：测试选择标准版，根据业务可以平滑升级到集群版或读 写分离版。性能类型 标准性能 存储类型 高性能内存型 节点类型 双副本 套餐类型 标准套餐 实例规格 2G主从版 说明：支持变配规格，变配过程会有 30秒内连接闪断及 1分 钟内的实例只读。密码设置 立即设置 输入密码 设置符合...
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
北方的 2台游戏服务器也要停止服务，确保全部游戏业务已经停服，避免新数据写 入。步骤1 登录 SLB控制台。（https://slb.console.aliyun.com/slb/cn-beijing/slbs）文档版本：20220121 103 游戏业务分区合服最佳实践 分区合服业务改造 步骤2 地域选择为华北 2（北京）。步骤3 勾选实例（BEI_SLB）前的复选框，并单击下方的...
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云， 应 用采用 docker 方式部署， 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理，简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务，提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版（ACK） 微服务引擎（MSE） 关系数据库服务（RDS） 应用高可用服务（AHAS） 应用实时监控服务（ARMS）
步骤1 在左侧导航栏选择访问凭证，单击设置固定密码。步骤2 设置符合要求的密码，并单击确认。文档版本：20220208 26 Dubbo应用上云 部署 Dubbo云应用 3.2.2.制作镜像 步骤1 在 ECS实例（dubbo-image）上安装 Docker。1.SSH登录虚拟机 dubbo-image。ssh-i dubbo.pem root@{docker_image_公网 IP} 2.执行以下命令，安装 ...
- 产品推荐
- 这些文档可能帮助您