基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
创建函数前必须先创建服务，服务就像函 数的集合，同一个服务下的所有函数共享一些相同的设置，例如服务授权和日志配置 等。 服务名称：根据实际业务自行填写。 服务角色：默认选择AliyunFcDefaultRole，如果下拉框没有，请点击创建默认角 色。步骤5 双击函数计算函数img_handle，查看配置信息。文档版本：20240304 3...
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一，主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品，向客户提供高度自动化的标准化产品对网络功能、计算机（虚拟或专用硬件）和数据存储空间进行访问，同时支持灵活扩展，可以直接使用自助服务界面。
docker的安装及三大核心：容器、镜像、仓库.4天实战 轻松玩转docker.网络安全升级支持IPV6.天弘基金成立于2004年11月8日，是经中国证监会批准设立的全国性公募基金管理公司之一，目前注册资本5.143亿元。2013年，天弘基金与支付宝合作推出余额宝，是天弘余额宝货币市场基金管理人.web应用防火墙.查看更多>.网络安全升级支持...
来自：
云产品
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
需要为模板中的“北方一区”的两台 ECS、“南方二区”的 1台 ECS，设置镜 像，选择获取的共享镜像。文档版本：20220121 2 游戏业务分区合服最佳实践 通过 CADT构建基础环境 2.确保 OSS名称全局唯一。文档版本：20220121 3 游戏业务分区合服最佳实践 通过 CADT构建基础环境 3.重设 RDS登录密码。分别重设“北方一区”和...
混合云HBR云上备份VMware虚拟机
场景描述 本文主要介绍一种简单且具备成本效益的混合云下 的备份解决方案，可以为任何位置的客户虚拟机和数 据提供强有力的保护，包括企业数据中心、远程和分 支机构以及云上资源；支持加密、压缩、重删，保证 数据快速、安全、高效地备份到云上，本文重点介绍 混合云下的VMware虚拟机备份。 解决问题 1.混合云下的备份解决方案。 2.VMware虚拟机备份解决方案。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP 4.NAT网关
在vCenter上查看恢复结果.42 文档版本：20190716 IV 混合云HBR云上备份VMware虚拟机 最佳实践概述 最佳实践概述 本文为您介绍使用混合云备份服务来备份虚拟机的镜像，并在需要时快速恢复备份镜 像。文档版本：20190716 1 混合云HBR云上备份VMware虚拟机 前置条件 前置条件 本实践基于混合云VMware环境，需要提前构建...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
提供用户在云 上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学 习等场景下的大数据解决方案。详情请查看 https://www.aliyun.com/product/emapreduce HDFS Hadoop 分布式文件系统（HDFS）被设计成适合运行在通用硬件上的分布式文 件系统，它和现有的分布式文件系统有很多共同点。但同时，它和其他...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
这使您的函数可以像访问本地文件系 统一样编写访问存储在其中一个 NAS 文件系统上的文件。详见 https://cn.aliyun.com/product/nas 对象存储 OSS：海量、安全、低成本、高可靠的云存储服务，提供 99.9999999999%的数据可靠性。使用 RESTful API 可以在互联网任何位置存储和访问，容量和处 理能力弹性扩展，多种存储类型供...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
IPv4网段 推荐网段 192.168.0.0/16 交换机 名称 vsw-bp106 可用区 可用区 D IPv4网段 192.168.40.0/24 ECS配置：配置项 说明 实例名称 ecs-bp106 支付方式 按量付费 实例规格 ecs.hfc5.xlarge(4c 8g)文档版本：20211213 7 基于 MaxCompute的大数据 BI分析 部署基础环境 镜像 镜像市场 镜像版本 m-uf6g8nv0bex68cm9pwnv 系统...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
镜像 选择公共镜像。CentOS 7.4 64位 存储 120GB 类别 配置项 说明 网络和 网络 专有网络 安全组 选择已创建的 VPC（客户 IDC-VPC）和交换机（vswitch-az-g）。公网带宽 勾选分配公网 IPv4地址。付费模式：按使用流量 带宽：100 Mbps 说明：（1）在您业务商用过程中，建议选用弹性公网 IP和共 享带宽包、共享流量包的组合...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
主机名 prod1，prod2-支付方式 后付费 按量付费 实例规格 2 核 CPU，4GB 内存-文档版本：20210128 33 多账号下企业分账最佳实践 资源规划清单（ecs.c6e.large）镜像 Alibaba Cloud Linux-镜像版本 Alibaba Cloud Linux-2.1903 LTS 64位 系统盘 cloud_essd ESSD云盘 硬盘容量 40GiB-公网带宽 按流量付费-出网带宽 0 不分配...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
其优点是学习成本低，可以通过类 SQL语句快速实 现简单的 MapReduce统计，不必开发专门的 MapReduce应用，十分适合数据仓 库的统计分析。E-MapReduce 阿里云 E-MapReduce（EMR）是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink生态大数据 PaaS 产品。提供用户在云上使用开源 技术建设数据仓库、...
Databricks数据洞察
阿里云Databricks数据洞察是基于Apache Spark的全托管数据分析平台, 内核采用更高效、稳定的商业版Databricks Runtime和Delta Lake。可满足数据分析师、数据工程师和数据科学家在大数据场景下对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等需求
利用容器镜像服务和ACK@Edge，将模型作为容器下沉到边缘终端，服务离线终端设备的AI.了解 Delta Lake.了解 Databricks Runtime.百草味基于“EMR+Databricks+DLF”构建云上数据湖.Databricks Lakehouse+AI助力美的暖通云上IoT大数据建设.自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察.使用Databricks的Notebook进行...
来自：
云产品
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
MaxCompute湖仓一体方案 最佳实践 业务架构 场景描述 数据湖 EMR与云数仓的融合解决方案，将 MaxCompute与 Hive集群做数据打通，通 过存储共享，元数据镜像等方式，解决传统 模式下的存储冗余，计算资源弹性能力弱的 痛点。可大幅度增强系统的资源弹性，解决 业务高峰期计算资源不足的问题。湖仓一体 兼具数据湖的灵活性与...
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
最后介绍如果将备份在 OSS的快照仓 库恢复到阿里云 ElasticSearch实例 目标客户：IDC/公有云客户对自建 ELK日志系统有云上、跨云备份、迁移到阿里云 的 ElasticSearch的客户。技术架构 本实践基于如下图所示的技术架构和主要流程。方案优势 安全性 基于 IPSec VPN/专线的方式进行数据安全传输 低成本 可以在 OSS Bucket设置...
云原生ACK应用管理实践
在Kubernetes平台中，一个应用可能包含多个Kubernetes子资源，在应用部署完成以后，可以从统一的视角展现整体应用的拓扑结构，同时对于持续部署等场景做到统一的版本管理与回滚。 场景描述 云原生时代的到来，用户在使用Kubernetes进行应用管理的同时也面临着一些痛点和挑战。 遇到的痛点： 应用编排文件如何管理。 应用包含哪些K8s资源，能否统一管理。 如何管理应用版本，能否快速回滚。 方案优势 多集群低成本容灾，日常迭代版本一键同发。 国内站、国际站多地域部署业务，版本同发。 应用维度查看/管理工作负载（相关资源聚合）。 同一套编排，多环境发布，大幅降低出错率。
多集群应用部署 步骤1 通过 git方式部署应用 首先删除之前通过 yaml模版部署的应用，然后再次在应用中心里选择创建应用,部署 策略仍然选择手动，源选择 GIT,仓库地址选择刚才配置的仓库连接，路径选择为仓库 里存放应用部署 yaml文件的目录（例如这里选择为 bp-podinfo）；假设应用需要部署 文档版本：20201031 15 云原生 ...
SD-WAN解决方案
随着企业新兴业务的爆发、迅速增长，传统以昂贵MPLS专线为主的传统广域网互联难以支撑企业WAN的流量激增，SD-WAN逐渐成为企业总部分支互联在云时代的首选。 阿里云SD-WAN为企业总部多分支提供基于专线/Internet/4G等混合链路广域网互联接入服务，基于阿里云全球高质量传输网络优势，进一步平衡并优化企业应用，从而提高企业WAN网络的可靠性、灵活性和运维效率。
设备级、链路级、接入级均为多级容灾设计，确保服务高可用.SAG支持硬件/镜像/APP等多种部署形态，覆盖全场景接入服务.SAG/CEN带宽可按照业务所需随时调整，提升网络利用率.SD-WAN企业分支互联.SD-WAN企业分支互联方案.云上网络根据应用划分多 VPC 部署，总部/IDC 等关键节点通过专线接入阿里云，同时部署智能接入网关 SAG ...
来自：
解决方案
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
下载镜像并启动 步骤1 下载 rapids加速库镜像，这里我们选择 rapidsai:0.8-cuda10.0-runtime-ubuntu16.04-gcc5-py3.6版本。注意：镜像大小为 7~8GB，根据网络情况的不同，下载时间不同。正常大概 10分钟 左右。root@rapids:~#docker pull nvcr.io/nvidia/rapidsai/rapidsai:0.8-cuda10.0-runtime-ubuntu16.04-gcc5-py3.6 ...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
大数据开发治理平台DataWorks：基于阿里云ODPS/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者，互联网电商行业离线大数据分析 最佳实践概述 DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论，同时与数万名政务/金融/零售/互联网/...
- 产品推荐
- 这些文档可能帮助您