自建ElasticSearch迁移阿里
自建ElasticSearch迁移阿里<em>云</em>
场景描述 以ElasticSearch为例,演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道,介绍如何通过快照 的方式,将ElasticSearch索引数据安全备份到 阿里云OSS存储空间,以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例,进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC,ECS,VPN网关,OSS,阿里云ElasticSearch,云速搭CADT
OSS 其中:参数 说明 快照仓库名称 elasticsearch_oss_repo endpoint 阿里 OSS服务杭州区域的 VPC Endpoint access_key_id 用户 AccessKeyID,需要该 AccessKeyID具有访问 OSS 权限。secret_access_key 与 access_key_id对应的 secret。bucket 用于保存快照 Bucket名称,在 1.1节中创建的 Bucket。compress true表示...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,Elasticsearch,云速搭
金融专属大数据workshop
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库,掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建,用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
阿里 最佳实践 金融大数据WorkShop 文档版本:20210708(发布日期)阿里最佳实践金融大数据WorkShop 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 阿里最佳实践金融大数据WorkShop 文档编号 文档版本 V1.7 版本日期 2021-08-03 文档状态 对外发布 制作人 衾影 审阅人 明誉 文档变更记录 版本编号 日期 ...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
利用交互式分析(Hologres)进行数据查询
利用交互式分析(Hologres)进行数据查询
场景描述:随着收集数据的方式不断丰富,企业信息化 程度越来越高,企业掌握的数据量呈TB、 PB或EB级别增长。同时,数据中台的快 速推进,使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力,为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
OSS已经存储了方案相关数据,需要到OSS的控制台提前删除:这里需要注意:如果通过CADT创建的VPC、VSwitch中人工通过其他方式添加了资 源,如通过控制台或者API等购买了ECS,释放时因为这些非CADT部署的资源会依 赖VSW和VPC,会出现释放失败。遇到这类问题请先去控制台人工进行资源清理后,在CADT中再次释放资源即可。步骤1...
来自: 最佳实践 | 相关产品:大数据计算服务 MaxCompute,DataV数据可视化,实时计算,Hologres,云速搭CADT
小型互联网迁移阿里
小型互联网迁移阿里<em>云</em>
场景描述 本方案主要适用于中小型互联网企业,从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节, 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器(ECS)、迁云工具(SMC)、数据库 (RDS)、数据库(Redis)、数据传输(DTS)、 负载均衡(SLB)、专有络(VPC)等
小型互联网迁移阿里 最佳实践 业务架构图 场景描述 本方案主要适用于中小型互联网企业,从他迁移到 阿里,方案涉及网络规划、服务器、数据库、存储 数据、Kafka和镜像数据的迁移方案内容;同时在实 践环节,增加服务器和 RDS的迁移操作演练和验证。解决问题 提供服务器、数据库等关键环节的平滑迁移方案 提供上高...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS
自建Hadoop迁移到阿里EMR
自建Hadoop迁移到阿里<em>云</em>EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
OSS 对象存储服务(Object Storage Service,OSS)是一种海量、安全、低成本、高 可靠的存储服务,适合存放任意类型的文件。容量和处理能力弹性扩展,多种 存储类型供选择,全面优化存储成本。JindoFS JindoFS是一种原生的文件系统,结合 OSS和本地存储,成为 E-MapReduce 产品的新一代存储系统,为上层计算提供了高效...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
自建Hive数据仓库跨版本迁移到阿里Databricks数据洞察
自建Hive数据仓库跨版本迁移到阿里<em>云</em>Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
步骤3 查看最新生成的 distcp日志文件,当任务成功完成时,可以查看到相关报告:文档版本:20210425 28 自建 Hive数据仓库跨版本迁移到阿里 Databricks数据洞察 Hive数据迁移 cat distcp.log 登录阿里 OSS文件存储系统/user/hive目录下可以查看到相关的数据。3.2.将自建 Hive元数据库进行转储 在本实践方案中自建 Hive ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
机场视频监控
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业,将线下视频文件通过混合云阵列缓存后,通过专线上传到阿里云OSS上。 也适用于其他混合云场景中,利用阵列缓存文件,并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道(专线)
通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表  OSS对象存储  混合阵列  高速通道(专线)服务器ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里 企业上云实践 机场视频监控最佳实践 企业上云实践 机场视频监控最佳实践 文档版本信息 文本信息 属性 内容 文档名称 机场视频监控最佳...
来自: 最佳实践 | 相关产品:对象存储 OSS,高速通道,混合云存储阵列 Hybrid Cloud
Function Compute构建高弹性大数据采集系统
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游戏运营,产互行业中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点,给整个数据采集传输系统带来很大的挑战。在这个场景中,有三个关键的环节,数据采集、数据传输、数据处理。该最佳实践主要涉
基于阿里分布式文件系统和 SSD盘高性能 存储,RDS支持 MySQL、SQL Server、PostgreSQL、PPAS(Postgre Plus Advanced Server,高度兼容 Oracle数据库)和 MariaDB TX引擎,并且提供了 容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦 恼。更多信息,请参见:www.aliyun.com/product/rds 函数...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),函数计算,消息队列 Kafka 版,云速搭CADT
EHPC工业仿真
EHPC工业仿真
场景描述 本实践适用于使用弹性高性能计算EHPC+ 对象存储OSS运行仿真软件进行模型仿真 的场景中,这里运行的是LAMMPS这款开 源的仿真软件,数据通过OSS上传。 解决问题 1.使用EHPC运行工业仿真软件 2.使用OSS存储数据和代码 3.可视化计算结果 产品列表 弹性高性能计算E-HPC 对象存储OSS
可视化计算结果 产品列表 弹性高性能计算 E-HPC 对象存储 OSS 文件存储 NAS 云速搭 CADT 最佳实践频道 阿里最佳实践技术分享群 如二维码过期,请搜索群号:31852400 服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里 EHPC工业仿真 最佳实践 发布日期:20210813 文档版本:20150122(发布日期)II EHPC...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,弹性高性能计算E-HPC
Function Compute搭建前端CICD系统
Function Compute搭建前端CICD系统
场景描述 传统动静不分离的产品架构,随着访问量在增 长,性能会成为瓶颈。在这种情况下,用户可以 通过利用OSS和CDN对网站进行架构优化, 做到网站文件的动静分离,提升用户访问体验, 实现成本可控。本方案使用函数计算监听前端代 码库提交的分支变更,上传分支文件至OSS,通 过CDN进行前端资源加速。 方案优势 1.面向serverless:无需购买服务器 2.免运维:无需部署配置Jenkins 3.提供日志查询、性能监控和报警等功能 4.一站式:事件驱动方式触发响应 5.费用极低:按需付费 产品列表 专有网络VPC 对象存储OSS 日志服务SLS 函数计算 CDN
费用极低:按需付费 产品列表 最佳实践频道 专有网络 VPC 阿里最佳实践生态群 对象存储 OSS 日志服务 SLS Function Compute CDN 文档模板(手册名称)/Error!Use the Home tab to 服务器 ECS(产品名称)apply 标题 to the text that you want to appear here.阿里 Function Compute计算 搭建前端 CICD系统 最佳实践 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,日志服务(SLS),函数计算,CDN
EHPC药物筛选
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境,运行药物筛选应用AutodockVina 的场景中,这里采用批处理方式来提交 作业,并可以可视化计算结果。 方案架构 1.计算之前,将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时,将数据从OSS拉取到文件共享存储NAS上 3.计算时,在EHPC集群上进行,计算节点从NAS上读写数据 • 容量型NAS:低成本,大容量 • 性能型NAS:适合高IOPS应用,作为临时目录 • CPFS:适合超大规模,并行度极高的作业 4.计算节点: • 如果对计算时间不敏感,希望低成本运算,可选ECS实例 • 如果时效性要求高,建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大,可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接(moleculardocking)模拟计算进行药物筛选,是模拟小分子配体和生物大分子受体的 相互作用,预测配体和受体的结合模式和亲和力。 • 通常,有很多已有的配体库,如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体,模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体,不同配体之间没有依赖,因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
使用 OSS保存计算结果 产品列表 弹性高性能计算 E-HPC 文件存储 NAS 对象存储 OSS 云速搭 CADT 最佳实践频道 阿里最佳实践技术分享群 如二维码过期,请搜索群号:31852400 服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里 企业上云实践 EHPC药物筛选最佳实践 文档版本:20210811 II 企业上云实践 EHPC...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC
函数计算实现弹性音视频处理系统
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用,每天 有大量的上传视频,需要及时转码处理以适配各 种终端及网络条件,要求短时间内准备大量的计 算资源进行大规模并行转码处理,同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
应用说明 本应用的源代码请参见如下链接:https://github.com/awesome-fc/fc-fnf-video-processing/tree/master/video-processing 3.2.1. 应用介绍 基于 Function Compute FC+函数工作流 FnF+对象存储 OSS+文件存储 NAS 文档版本:20201228(发布日期)16 Function Compute 实现弹性音视频处理系统 部署 Function Compute ...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,文件存储NAS,日志服务(SLS),Serverless 工作流
湖仓一体架构EMR元数据迁移DLF
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案,可以为企业提供数据湖内的统一的元数据管理,统一的权限管理,支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF,通过统一的元数据管理,多种数据源入湖,搭建高效的数据湖解决方案。
文档版本:20220125 16 湖仓一体架构 EMR元数据迁移DLF 元数据迁移 步骤3 输入名称,选择 OSS的存储路径(如果没有 OSS bucket请先到 OSS控制台创建)。步骤4 确认信息无误后提交。文档版本:20220125 17 湖仓一体架构 EMR元数据迁移DLF 元数据迁移 步骤5 开始运行迁移任务。步骤6 运行成功后,查看运行日志,可见迁移元...
来自: 最佳实践 | 相关产品:E-MapReduce,数据湖构建
企业上云workshop
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统,业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上, 包括如何在云上构建以上业务系统,如何迁移线下 系统到云上,如何割接。 3. 最后介绍了迁移上云后,如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
解决问题 IDC业务系统搬迁上云 上构建业务系统 部署安全系统 产品列表 最佳实践频道 阿里最佳实践生态群 弹性公网 IP 负载均衡 SLB 专有网络 VPC 服务器 ECS 对象存储 OSS 文件服务 NAS 数据库 RDS 数据库 PolarDB 架构设计工具 CADT Web应用防火墙 SSL证书 防火墙 服务器 ECS(产品名称)文档模板(手册...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
DBS通过IPSec VPN备份自建数据库
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境,对业 务数据有云上备份需求。在客户交流过程中,基 于数据高可用和灾备需求,要求将数据备份至阿 里云OSS的存储空间,同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC,ECS,DBS,VPN网关,OSS
在客户交流过程中,基 DBS提供了完善的备份机制和 API 于数据高可用和灾备需求,要求将数据备份至阿 OSS的分层存储机制降低备份集储存成本 里云OSS的存储空间,同时备份数据流基于 IPSec VPN/专线进行安全传输。基于IPSecVPN/专线进行安全传输。产品列表 VPC,ECS,DBS,VPN网关,OSS 文档版本:20200113 文档模板(手册...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,数据库备份DBS,云速搭
SLS多云日志采集、处理及分析
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务,通过日志服务 进行数据分析,帮助提升运维、运营效率, 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户,推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输;针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况,可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
注:(1)Filebeat prospector只能读取本地文件,没有功能可以连接到远程主机来读取 存储的文件或日志。(2)beats日志收集包含以下几个组件(本文介绍 filebeat):文档版本:20211203 44 SLS多云日志采集、处理及分析 Fliebeat日志采集到kafka Packetbeat(搜集网络流量数据);Topbeat(搜集系统、进程和文件系统级别的 ...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS),NAT网关,E-MapReduce,全站加速 DCDN,云速搭CADT
上持续审计合规最佳实践
<em>云</em>上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计,提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云,涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求,如等保2.0法规要求。 同时当云上资源达到一定规模时,在内部会制定合规管控的基线,满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志,还需依赖云平台提供的持续监控和自动告警能力,实现合规性的自主监管。
产品列表 最佳实践频道 阿里最佳实践技术分享群 操作审计(ActionTrail)配置审计(Config)函数计算(FC)日志服务(SLS)对象存储OSS服务器(ECS)数据库(RDS)专有网络(VPC)服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里 上持续审计合规 最佳实践 文档版本:V1.3(2021-07-26)文档...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,函数计算,操作审计,配置审计
基于FC实现的Web端视频录制最佳实践
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景,在线教育领域会有直播视频录制的需求,但是往往一个页面上的内容是多种多样的,不止有直播流,可能还有白板,评论等其他元素,如果只是录直播流,那内容是不完整的,所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
对象存储 OSS对象存储 OSS,是海量、安全、低成本、高可靠的存储服务。使用 RESTful API 可以在互联网任何位置存储和访问,容量和处理能力弹性扩 展,多种存储类型供选择全面优化存储成本。容器镜像服务 ACR(Alibaba Cloud Container Registry):是面向容器镜像、Helm Chart等符合 OCI标准的原生制品安全托管及高效...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于OSS Object FC实现非结构化文件实时处理最佳实践
基于<em>OSS</em> Object FC实现非结构化<em>文件</em>实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
举一个 产品列表 图片处理的场景,现在各种终端种类繁多,不同 专有网络VPC  的终端对图片的格式、分辨率要求也不同,所以  阿里函数计算(FC)一张图片往往会有很多张衍生图,那如果所有的  阿里云对象存储OSS)衍生图都存在OSS中,那存储的成本会增加, 内容分发网络(ContentDeliveryNetwork,CDN) 云速搭...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
云速搭部署基于OSS的Nextcloud网盘
云速搭部署基于<em>OSS的</em>Nextcloud网盘
通过云速搭实现基于OSS的NextCloud网盘的部署,这里使用ECS的UserData特性自动安装MySQL等组件,减少配置工作量。
资源分类 资源名称 网段 Region 成都-VPC vpc-chengdu-001 192.168.0.0/16 AZ vswitch-a 192.168.0.0/24 服务器 ECS ecs-对象存储 OSS nextcloud-test-112-文档版本:20220328 10 云速搭部署基于 OSS的 Nextcloud 网盘 CADT部署基于OSS的Nextcloud网盘应用架构 2.CADT部署基于 OSS的 Nextcloud网盘应用架构 2.1....
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,云速搭CADT
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用