SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
SLS 数据入湖 Kafka 最佳实践 业务架构 场景描述 应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的 聚合、分析处理和导出等，本方案给出了在多 云/混合云场景下，构建通过标准的Kafka协议 和托管服务，SLS可以连接Kafka数据入湖导 入，然后进行统一的海量数据的集中存储、智 能转储、...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
阿里云对象存储OSS（ObjectStorageService）：是一款海量、安全、低成本、高可靠的云 存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种 存储类型供选择，全面优化存储成本。 云速搭CADT（CloudArchitectDesignTools）：是一款为上云应用提供自助式云架构管理 的产品，显著地降低应用...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
JindoFS采用了本地存储和OSS的异构多备份机制，StorageService提供了数据存 储能力，首先使用OSS作为存储后端，保证数据的高可靠性，同时利用本地存储实现 冗余备份，利用本地的备份，可以加速数据读取；另外，JindoFS 的元数据通过本地 服务NamespaceService管理，从而保证了元数据操作的性能（和HDFS元数据操 作性能相似...
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境，并使用AIACC加速工具进行加速。
FastGPU作为衔接⽤户线下⼈⼯智能算法和线上海量阿⾥云 GPU计算资源的关键⼀环，⽅ 便⽤户将⼈⼯智能算法计算⼀键构建在阿⾥云的 IAAS资源上，⽆需关⼼IAAS层相关的计 算、存储、⽹络等繁琐的部署操作，做到简单适配、⼀键部署，随处运⾏的效果。为⽤户提 供了省时、经济、便捷的基于阿⾥云 IAAS资源的⼈⼯智能即刻构建⽅案...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
（物理上不 同 Topic的消息分开存储，逻辑上一个 Topic的消息虽然保存于一个或多个 broker 上但用户只需指定消息的 Topic即可生产或消费数据而不必关心数据存于何处）。Partition Partition是物理上的概念，每个 Topic包含一个或多个 Partition。Producer 负责发布消息到 Kafka broker。Consumer 消息消费者，向 Kafka ...
Serverless图片分类和身份证过滤
场景描述 场景一：大型图库智能管理通过深度学习算法，自动识别图像中的常见的场景，客户可以基于函数计算对接智能媒体管理的图像识别功能，轻松实现图片的自动管理和分组，完成大型图像库的智能管理。 场景二：身份证图片过滤 通过扫描存储在OSSbucket中的图片，通 过智能媒体管理进行身份证识别，找到海量图片中的身份证图片，对敏感信息进行处理。 解决问题 1.通过无服务器计算实现图片处理自动化 2.OSS触发器的使用 3.使用函数计算调用阿里云的AIP或SDK 产品列表 函数计算 智能媒体管理IMM 对象存储OSS
场景二：身份证图片过滤 通过扫描存储在 OSS bucket中的图片，通过智能媒体管理进行身份证识别，找到海 量图片中的身份证图片，对敏感信息进行处理。适用场景 大型图库智能管理。身份证图片过滤。其他函数计算可应用场景。方案架构-图片自动分类 用户通过 API/SDK/控制台上传图片到 OSS。通过 OSS触发器自动触发函数计算，...
基于HBR云上统一备份
场景描述 混合云备份（简称HBR）是一种简单易用且高性价 比的在线备份服务，可以为阿里云ECS，NAS，OSS 以及自建机房内的各类数据提供安全，高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
使用 RESTful API 可以在互联网任何位置存 储和访问，容量和处理能力弹性扩展，多种存储类型供选择全面优化存储成本。更多信息，请参见：https://www.aliyun.com/product/oss 文件存储 NAS：件存储 NAS是一个可共享访问，弹性扩展，高可靠，高性能的 分布式文件系统。兼容 POSIX 文件接口，可支持数千台计算节点共享访问，...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
OSS 对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高 可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种 存储类型供选择，全面优化存储成本。JindoFS JindoFS是一种云原生的文件系统，结合 OSS和本地存储，成为 E-MapReduce 产品的新一代存储系统，为上层计算提供了高效...
数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
名词解释 对象存储 OSS：Object Storage Service，简称 OSS，是阿里云提供的海量、安 全、低成本、高可靠的云存储服务，提供 99.9999999999%(12个 9)的数据持久 性。使用 RESTful API 可以在互联网任何位置存储和访问，容量和处理能力弹性 扩展，多种存储类型供选择全面优化存储成本。详见：...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
查看 DTS同步作业 步骤1 在数据传输服务 DTS管理控制台，在左侧导航栏，单击数据同步，选择地域华东 2（上 海），找到章节 1.2创建的 DTS同步实例，单击该实例 ID。文档版本：20220207 42 数据库异地灾备 配置异地热备环境 步骤2 同步作业任务管理页展示了同步作业的详情，包括基本信息、高级设置、付费信息等，并可以调整...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
低成本跨境文件传输 最佳实践 业务架构 场景描述 随着企业的发展，很多企业开始走上了国际 化的路线。海外业务的发展过程中，如何低成 本的跨境传输和同步文件成了一个难题。本 例着重演示利用阿里云资源，创建低成本、高 弹性和高效文件传输系统的最佳实践。应用场景 跨境对象存储数据传输需求 对跨境传输成本控制严苛 能...
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一，主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品，向客户提供高度自动化的标准化产品对网络功能、计算机（虚拟或专用硬件）和数据存储空间进行访问，同时支持灵活扩展，可以直接使用自助服务界面。
倚天云服务器采用倚天710处理器，基于新一代CIPU架构，通过芯片快速路径加速手段完成计算、存储、网络性能的数量级提升，支持计算型(c8y)、通用型(g8y)、内存型(r8y)三种规格族，公测地域支持北京、上海、杭州和深圳.弹性计算\\tFPGA计算型实例规格族f5启动邀测.f5实例搭载第三代Intel ® Xeon ® 可扩展处理器（Ice Lake）...
来自：
云产品
MySQL数据库上云选型解决方案
MySQL数据库上云选型解决方案，MySQL数据库成为近十年来数据库使用范围最广，数据库生态最好的开源数据库，本方案以MySQL数据库上云的各种场景为切入点，包括数据库的扩展性、数据库水平拆分、数据库垂直拆分、高弹性数据库、数据库大促支持、MySQL数据库海量数据分析等向上云的企业客户介绍如何选择适合企业的MySQL生态数据库。
适用于客户的数据量和访问量遇到业务瓶颈的在线业务.PolarDB-X适用场景.PolarDB产品优势.PolarDB具备兼容MySQL、高弹性、分钟级升降配、海量存储等优势.PolarDB产品优势.MySQL数据库亿级以上数据复杂查询.分析型数据库MySQL版具有面向SQL的海量数据快速分析能力.RDS MySQL支持透明读写分离，读写分离是指通过一个读写分离...
来自：
解决方案
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
配置表格存储 OTS：是阿里云自研的面向海量结构化数据存储的 Serverless 分布式数据库，为时序 监控轨迹、历史订单数据、日志信息、元数据等海量数据提供存储、访问、同步、检 索、计算等能力。被广泛用于社交、物联网、人工智能、游戏、监控与大数据等业务 场景。是阿里巴巴经济体核心基础设施之一，提供稳定与极致的数据...
数据安全解决方案
数据是企业的核心资产，如何保护企业的云上数据，是每个企业管理者都应当重视的课题。在云平台提供更为安全便捷的数据保护能力的同时，阿里云根据自身多年的经验积累，结合大量云上客户的最佳实践，提供了一套完整的数据安全解决方案，帮助企业提升云上数据风险防御能力，实现企业核心及敏感数据安全可控。
从云上海量数据中发现、分类和保护敏感数据，分析使用情况并进行风险预警，帮助用户防止数据泄露和满足GDPR等合规要求.网站和移动应用（APP）提供HTTPS保护，对流量加密，防止数据被窃取。与云产品深度集成，一键部署，实现证书自动续签.密钥管理服务（KMS）提供安全合规的密钥托管和密码管理服务，助您轻松使用密钥来加密...
来自：
解决方案
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫，如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题，阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建，有效助力疫情防。 方案优势： 1、性能优越：Ganos作为自研的时空数据库引擎，相比postgis性能更优秀。 2、安全稳定：故障自动切换自愈，资源隔离，多副本存储。 3、简单易用：开箱即用，兼容postgresql，打通quickbi快速搭建数据分析展示。 4、功能强大：相比postgis在时空模型上做了较多扩充，支持几何模型，栅格模型，网络模型，时空轨迹模型，点云模型，拓扑网络模型。
阿里云数据库快速搭建疫情分析系统 最佳实践 业务架构 场景描述 疫情降临，疫情态势分析和防控任务迫在眉 睫，如果快速搭建高效的疫情态势分析系统 第三方 GIS数据接入 是众多...存储资源规划 资源类别 配置项 配置明细 对象存储 OOS Bucket名 da-project-data-2021 存储类型 标准存储 读写权限 私有 文档版本：20210725 45
- 产品推荐
- 这些文档可能帮助您