基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
文档版本：20240304 15基于OSSObjectFC实现非结构化文件实时处理最佳实践 场景验证 地域：选择华北1（青岛） 对象FC接入点名称：根据实际情况填写，这里填写opap-oss-object-fc 支持的接入点：选择上节中创建的接入点，oss-object-fc-ap OSSAPI： 勾选GetObject FC函数服务：选择通过CADT创建的函数服务fc_...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
应用场景 在物联网场景中，智能设备会产生大量的非结构化数 据，并且采集量和频率都很高。比如各类摄像头（家 用摄像头、车载摄像头、工业监控摄像头等）采集的 数据。企业需要对这些非结构化数据做快速的分析和 处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场 景。解决...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
负载均衡SLB（ServerLoadBalancer）：一种对流量进行按需分发的服务，通过将流量分发 到不同的后端服务来扩展应用系统的服务吞吐能力，并且可以消除系统中的单点故障，提 升应用系统的可用性。 Serverless应用引擎SAE（ServerlessAppEngine）：是一款零代码改造、极简易用、自适应 弹性的应用全托管平台。SAE能够让您...
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云，提供高并发，高吞吐，高安全等特性，适用于金融，电力，电信，制造业等传统客户的核心交易系统。
基于ESSD存储NVMe协议提供的多实 例共享能力的双机集群OracleRAC架 构，为用户提供统一数据服务的同时提 供故障切换与恢复能力（FailOver集群 功能），避免单点故障，减少停机时间，确保系统全年7*24小时稳定运行。2.在集群环境运行中的所有实例通过共享 的数据库运行事物，RAC架构相对上层 应用架构完全透明，整体数据负载...
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
A：一个 SelectDB 实例可包含多个计算集群，每个集群包含一组 BE 节点，类似于大数据系统中的计算资源组、计算队列类概念。同一个实例下的多计算集群，可实现数据共享，支持计算负载的物理隔离.查看详情Q：阿里云数据库 SelectDB 版 与自建 Apache Doris 数据库对比，有哪些优势？A：1）云数据库 SelectDB 版支持存算分离，...
来自：
云产品
云数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
备份回档：RDS 提供数据备份和日志备份两种功能按备份集恢复和按时间点恢复，以及按备份集恢复和按时间点恢复两种恢复功能。容灾安全多可用区实例容灾：通过异步或半同步的数据复制方式和高效的主备切换机制，提供高于物理服务器极限的数据库可用性灾备实例：通过数据传输服务（DTS）实现主实例和异地灾备实例之间的实时...
来自：
云产品
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
master节点格式化 zkfc hdfs zkfc-formatZK 步骤6 在 master节点启动 hadoop集群 start-all.sh 步骤7 master2节点上查看 ResourceManager是否已经启动 jps|grep-i resourcemanager 如果没有的话执行：yarn-daemon.sh start resourcemanager 步骤8 将 master节点设置为 namenode的 active节点：在 master2节点执行：hdfs ...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
在 EMR集群的 master节点进行大量数据迁移 步骤1 在 4.3节验证了少量数据的迁移，我们选择另一个较大数据量的文件夹进行迁移，本 实 践 方 案 中 以 源 Hadoop 集 群 中 如 下 目 录 为 例 进 行 演 示/usr/dfs/data/flume/kafka/20191113，在您进行演练时，请以实际环境为准。步骤2 参考 4.3节步骤 3启动数据迁移任务，将...
数据传输服务DTS
阿里云数据传输服务集数据迁移、订阅及实时同步功能于一体，能够解决公共云、混合云场景下，远距离、毫秒级异步数据传输难题，支持关系型数据库、NoSQL、大数据(OLAP)等数据源，其底层基础设施采用阿里双11异地多活架构，为数千下游应用提供实时数据流，已在线上稳定运行7年之久。
更多产品与服务.RDS SQL Server 是阿里云基于微软正版授权...云服务形态，任意节点故障可立马被其他健康节点接管，链路秒级恢复。模块之间通过token认证，使用安全传输协议，链路可靠性高达99.95%.提供可视化管理界面，配置简单，链路状态透明直观，降低使用成本。支持断点续传，可有效解决因硬件、网络等异常导致的链路中断.
来自：
云产品
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受，对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量，因此对于系统的稳定性非常关注，结合阿里云的容器服务、链路追踪、弹性容器ECI等产品，帮助客户业务实现容器化改造，并且方便发现系统应用架构中的瓶颈等问题，实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ￚ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ￚ 运维研发效率提高，链路追踪服务端全托管，免运维。 ￚ 链路追踪的应用调用链分析能力结合ECI高弹性能力，提升应用系统在洪峰流量冲击下的稳定性。 ￚ 链路追踪接入方便，ECI POD弹性伸缩，节省用户运维成本和云资源使用成本。 ￚ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩，更丰富的云原生弹性能力。
首先下载本示例代码（https://code.aliyun.com/best-practice/194.git），项目结构大致 如下图所示：代码部分主要有两个关键点：1.Jeager服务接入，代码示例如下：var traceEndpoint string func init(){ traceEndpoint=os.Getenv("TRACE_ENDPOINT")/① } func NewTracer(service string)opentracing.Tracer { sender:=...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
在本案例里，采用 serverless版本的 Kubernetes来模拟业务应用的运行平台，这种 类型的托管服务，无需创建和管理 K8s里面的 Master和 worker，其底层基于 ECI容 器实例，按容器实例的使用资源量和时长（秒）计费 ASK的主要有以下几点优势：降低用户 kubernetes的门槛，无需管理 Node节点 无需考虑节点的容量规划 以 Pod为...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
数据湖构建 Data Lake Formation（DLF）：数据湖是一个集中式存储库，可存储 任意规模结构化和非结构化数据，支持大数据和 AI计算。数据湖构建（Data Lake Formation，DLF）作为云原生数据湖架构核心组成部分，帮助用户简单快速地构 建云原生数据湖解决方案。数据湖构建提供湖上元数据统一管理、企业级权限控 制，并无缝...
S级游戏多地域批量开服
本实践将利用多地域模板创建应用，基于模板传参的方式，实现游戏全球多地域开服，并在这个过程中，详细介绍云管平台对接过程中所使用到CADT API以及使用方式。
扩容：支持部分云产品的扩容场景，比如 ECS增加数据盘，RDS增加只读节点 等。销毁：统一的资源释放接口，无须逐个对接云产品的释放接口。具体实现的架构如下图所示:文档版本：20220628 3 S级游戏多地域批量开服 概述 方案优势 1.模板可以灵活调整，通过传参的方式实现云上架构的变量替换。2.通过模板的方式，快速定义多云...
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
MaxCompute湖仓一体方案 最佳实践 业务架构 场景描述 ...步骤3 双击 OPDS SQL 文档版本：20220402 23 MaxCompute湖仓一体方案 DataWorks执行 步骤4 输入节点名称，选择目标文件夹，创建节点。步骤5 输入查询语句，点击执行 文档版本：20220402 24 MaxCompute湖仓一体方案 DataWorks执行 执行结果如下:文档版本：20220402 25
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
配置项 说明 地域和可用 中国 华东 1（杭州）杭州可用区 H 区 可用区数量 单可用区 实例规格 节点类型 数据节点 Kibana 节 专有主节 点 点 数据节点规格族 云盘型 1:4通用型 1:2计算型 1:4通用型 规格说明 4核 16G 1核 2G 2核 8G 数据节点存储类型 ESSD云盘 ESSD云盘 单节点存储空间 2048GiB 20GiB 数据节点数量 3 3 文档...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
主节点部署在 vsw001（华东 1可用区 H），备节点可 用区自动分配。存储类型 local_ssd 本地 SSD盘 实例类型 2 核 4GB具体最大连接数、IOPS信息可（rds.mysql.s2.large）以参考 RDS实例规格族信息：https://help.aliyun.com/docum ent_detail/26312.html 若实际使用过程中发现数据库 资源冗余或紧张，可以随时进 行升降配...
音视频终端 SDK
音视频终端 SDK集成了阿里云视频直播和视频点播业务中拍摄、编辑、上传、推流和播放的核心能力，同时融合视频特效、音频特效等音视频AI能力，为用户提供一体化SDK，支持多终端接入，搭配产品级Demo，支持用户根据业务需求快速集成所需
阿里云推流 SDK 是基于阿里云强大内容分发网络和音视频实时通讯技术的客户端推流开发工具，支持 Android、iOS、Flutter 多端多平台推流，为用户提供简单易用的开放接口、网络自适应的流畅体验、多节点的低延迟优化、功能强大的实时美颜等服务.推流 SDK.自定义 UI.提供完整的 UI 交互源码，用户可自定义 UI 界面或者默认 UI ...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您